Sie befinden Sich nicht im Netzwerk der Universität Paderborn. Der Zugriff auf elektronische Ressourcen ist gegebenenfalls nur via VPN oder Shibboleth (DFN-AAI) möglich. mehr Informationen...
There is substantial evidence that systemic biases influence the scholarly peer review process. Many scholars have advocated for double‐blind peer review (also known as double‐anonymous review) to reduce these biases. However, the effectiveness of double‐blind peer review in eliminating biases is uncertain because few randomized trials have manipulated blinding of author identities for journal submissions and those that have are generally small or provide few insights on how it influences reviewer biases.
In 2019, Functional Ecology began a large, randomized trial, using real manuscript submissions, to evaluate the various consequences of shifting to double‐blind peer review. Research papers submitted to the journal were randomly assigned to be reviewed with author identities blinded to reviewers (double‐blind review) or with authors identified to reviewers (single‐blind review). In this paper, we explore the effect of blinding on the outcomes of peer review, examining reviewer ratings and editorial decisions, and ask whether author gender and/or location mediate the effects of review type.
Double‐blind review reduced the average success of manuscripts in peer review; papers reviewed with author identities blinded received on average lower ratings from reviewers and were less likely to be invited for revision or resubmission. However, the effect of review treatment varied with the author's location.
Papers with first authors residing in countries with a higher human development index (HDI) and/or higher average English proficiency fared much better than those from countries with a lower HDI and lower English proficiency, but only when author identities were known to reviewers; outcomes were similar between demographic groups when author identities were not known to reviewers.
Blinding author identities had no effect on gender differences in reviewer ratings or editor decisions.
Our data provide strong evidence that authors from higher income and/or English‐speaking countries receive significant benefits (a large positive bias) to being identified to reviewers during the peer review process and that anonymizing author‐identities (e.g. double‐blind review) reduces this bias, making the peer review process more equitable. We suggest that offering optional blinding of author identities, as some journals allow, is unlikely to substantially reduce the biases that exist because authors from higher‐income and English‐speaking countries are the least likely to choose to be reviewed with their identity anonymized.
Read the free Plain Language Summary for this article on the Journal blog.
摘要
大量证据表明系统性偏见会影响学术同行评议过程。许多学者提倡双盲同行评议(或称双重匿名评议)以减少这些偏见。 然而，双盲同行评议在消除偏见方面的有效性尚不清楚，因为极少有随机试验在期刊投稿过程中隐藏作者身份，且隐去身份的试验通常规模较小或很少提出双盲如何影响审稿偏见作用的见解。
2019 年，《Functional Ecology》杂志启动了一项大型随机试验，使用真实提交的稿件来评估双盲同行评议的各种影响。 在这个实验中，提交给期刊的研究论文被随机分配成双盲审稿(对审稿人不公开作者身份)或单盲审稿(对审稿人公开作者身份)。在本文中，我们探讨了上述处理对同行评议结果的影响，考察了审稿人评分和编辑决策，并询问了作者性别和/或背景(国别、工作单位等)是否会影响评议结果。
双盲评议降低了稿件在同行评议中的平均成功率；隐藏作者身份的论文审稿得到的评分较低，且不太可能被邀请进行修改或重新提交。然而，双盲评议的效果因作者背景而异。
如果第一作者居住在人类发展指数 (Human Development Index, HDI) 较高和/或平均英语水平较高的国家，其论文的表现比来自HDI较低和英语水平较低的国家的论文要好得多，但前提是审稿人知道作者的身份 ; 当审稿人不知道作者身份时，上述分组之间的结果相似。
在性别差异上，隐藏作者身份对审稿人评分或编辑决定没有影响。
我们的数据提供了强有力的证据，表明来自高收入和/或英语国家的作者，如果公开身份，在同行评议过程中表现出显著的益处(很大的正偏差)，隐匿作者身份(如双盲审)则减少了这种偏见，使同行评议过程更加公平。我们认为杂志提供隐藏作者身份的选项(正如一些杂志所作的那样)，不太可能显著减少已有的偏见，因为来自高收入和英语国家的作者最不可能选择匿名审阅。
Existe mucha evidencia de que sesgos sistémicos influyen en el proceso de revisión por pares académicos. Muchos académicos han apoyado la revisión por pares ‘doble ciego’ (también conocida como revisión doblemente anónima) para reducir estos sesgos. Sin embargo, la efectividad de la revisión por pares doble ciego en eliminar los sesgos es incierta porque pocos estudios han puesto a prueba sus efectos de forma sistematizada, y los que lo han hecho son generalmente pequeños o brindan poco conocimiento sobre cómo influye los sesgos de los revisores.
En 2019, Functional Ecology comenzó un gran ensayo aleatorio, utilizando envíos de manuscritos reales, para evaluar las diversas consecuencias del sistema doble ciego de revisión por pares. Los trabajos de investigación enviados a la revista se asignaron aleatoriamente para ser revisados con las identidades de los autores no disponibles para los revisores (revisión doble ciego) o con los autores identificados para los revisores (revisión simple ciego). En este artículo, exploramos el efecto del sistema de revisión por pares, examinando las calificaciones de los revisores y las decisiones editoriales, y preguntamos si el género y/o la ubicación del autor impactan la revisión.
La revisión doble ciego redujo el éxito promedio de los manuscritos en la revisión por pares; los artículos revisados con las identidades de los autores ocultadas recibieron en promedio calificaciones más bajas de los revisores y tuvieron menos probabilidades de ser invitados para revisión o reenvío. Sin embargo, el efecto del tratamiento de la revisión varió según la ubicación del autor.
Los artículos cuyos primeros autores residían en países con un índice de desarrollo humano (IDH) más alto y/o un dominio promedio del inglés más alto obtuvieron mejores resultados que los de países con un IDH más bajo y un dominio del inglés más bajo, pero solo cuando los revisores conocían las identidades de los autores. Los resultados fueron similares entre los grupos demográficos cuando los revisores no conocían las identidades de los autores.
El ocultamiento de las identidades de los autores no tuvo efecto sobre diferencias de género en las calificaciones de los revisores ni en decisiones de los editores.
Nuestros datos proporcionan pruebas sólidas de que los autores de países de mayores ingresos y/o de habla inglesa reciben beneficios significativos (un fuerte sesgo positivo) al ser identificados ante los revisores durante el proceso de revisión por pares, y que ocultar las identidades de los autores (p. ej. revisión ciega) reduce este sesgo, haciendo que el proceso de revisión por pares sea más equitativo. Sugerimos que es muy poco probable que ofrecer el sistema doble ciego de revisión de forma opcional, como lo permiten algunas revistas, reduzca sustancialmente los sesgos que existen porque los autores de países de habla inglesa y de ingresos más altos son los que tienen menos probabilidades de optar por esta alternativa.
Read the free Plain Language Summary for this article on the Journal blog.