同行评审或对提升预印本论文质量作用有限

 
 
同行评审或对提升预印本论文质量作用有限  
 

诸如bioRxiv上出现的预印本，已经成为科学家分享成果的快捷方式，但它们还没有经过同行审查。

每天，科学家都会在诸如bioRxiv之类的公共服务器上发布很多预印本，这些预印本都是未经同行评议的研究报告。相较而言，预印本可以使科学家们更快地获得最新研究，而传统期刊通常需要几个月的时间才能完成评审。

但批评人士指出，预印本能提高速度，却可能失去可靠性和公信力，因为同行评审可以指出错误和缺陷。这是一个令人担忧的问题，尤其是关于医学治疗的发现，非科学家可能会误解，可能会危及公众健康。新冠病毒大流行也加剧这些担忧。

但是近日，巴西里约热内卢联邦大学发布在bioRxiv上的预印本研究得出结论，同行评审似乎并不能大大提高预印本的质量。

该研究将2016年在bioRxiv上发布的56个预印本与后来在期刊上发表的同行评审版本进行了比较，许多是遗传学和神经科学的研究。研究人员特别检查了最终论文是否比预印本报告了更多的关键研究细节，例如所用试剂的类型和统计方法。

研究人员发现，预印本报告质量的平均分数为68％，而经过同行评审的出版版本的报告分数为72％，尽管增幅不大，但还是有统计学意义的。按照期刊影响因子衡量，精选期刊并未显示出更大的增幅。平均而言，他们发现在25个类别的研究中，同行审稿人在每篇文章中仅发现了一个缺陷。

研究团队表示，他们的方法提供了一个客观、一致的同行评审效果的衡量标准。相比之下，对文章其他特征的评估通常涉及主观判断，这是很难比较的。但研究团队承认，他们对透明度的衡量并不能表明审稿人是否在其他重要方面改进了文章，比如方法是否合理，结论是否有证据支持。

未参与该研究的美国斯坦福大学Steven Goodman曾研究过同行评审，他表示：“对于如何衡量论文的质量，以及如何最好地评估同行评审，我们在方法论上没有达成共识。”他补充说，其他证据表明同行评审可以带来好处，包括减少作者结论中的“混乱”和更好地报告局限性。

不过，Goodman仍将这一研究称为“有意义的贡献”，因为未来的研究可以建立在它的方法之上，而且这种研究很少。

论文第一作者、里约热内卢联邦大学的博士生Clarissa Carneiro说：“这项研究的发现表明审稿人可能会在报告方法和其他细节方面发现更多的缺陷。”由此带来的透明度的提高可以帮助其他学者重现这一结果。

Carneiro表示，预印本的报告质量与同行评审文章的质量基本相当，这一发现表明，科学家们在申请工作和资助时越来越多地使用预印本。“预印本可以被认为是研究项目的有效科学成果”。

此外，Goodman补充说，这项研究中的预印本样本数量可能太小，无法充分代表科学家发表在 bioRxiv 上的各个分支学科的多样性。

但是，2019年发表在《国际数字图书馆杂志》上的另一项研究对这项研究的发现提供了一些支持。它使用了一种自动化的方法来比较大量的预印本（近2500个来自bioRxiv的研究，12,000多个来自arXiv的研究）和后来在相关期刊上发表的版本。研究小组使用统计技术来衡量预印本和正式发表版本的差异，发现差异并不大。

该研究第一作者、美国洛斯阿拉莫斯国家实验室Martin Klein说，这并不意味着同行评审毫无价值。他说，这确实表明有必要对预印本和期刊文章分别为科学传播提供的益处进行更多的研究。