Una nueva moda ha invadido la ciencia durante los últimos cinco años: el brief report. A la costumbre tradicional de agrupar en cada artículo varios experimentos con evidencia convergente sobre un fenómeno le ha sucedido una tendencia cada vez más acusada a publicar artículos cortos en los que la introducción teórica se reduce al mínimo indispensable, el número de experimentos se limita a uno o dos y las discusiones teóricas van directamente al grano, sin florituras. Las ventajas de este tipo de publicaciones son muchas; sobre todo que los revisores pueden evaluar el artículo más rápidamente, los artículos aceptados ven la luz antes y la comunidad científica no necesita perder mucho tiempo para leer la versión definitiva. Algunos investigadores también han estimado que aunque el índice de impacto de las revistas que publican estos artículos breves tiende a ser más bajo, el índice de impacto por página es sin embargo mayor, lo que sugiere que en realidad estos artículos funcionan mejor a la hora de transmitir las ideas a la audiencia y estimular nueva investigación. Sin embargo, esta moda no está exenta de peligros. En un artículo (paradójicamente breve) que acaba de ver la luz en Perspectives on Psychological Science, Bertamini y Munafò reflexionan sobre el posible impacto negativo de los brief reports.
En primer lugar, muchas de las ventajas de estos artículos son cuestionables. Por ejemplo, el mayor índice de impacto por página que tienen estas revistas podría ser una consecuencia de que los autores dividan en varios artículos trabajos que en realidad deberían publicarse en un único artículo. Si esos diversos artículos se citan siempre juntos, eso puede producir la impresión de que ese trabajo tiene más impacto: una única idea genera varias citas. Pero sería una mera ilusión de impacto. Además, aunque los artículos breves conllevan menos trabajo para los editores y los revisores de las revistas científicas, a nivel global se multiplica el número de artículos que los investigadores envían a publicar, con lo cual en realidad se está aumentando el tiempo que se dedica colectivamente a estas tareas, aunque se esté reduciendo el trabajo por artículo individual.
En segundo lugar, este tipo de artículos breves tiene más probabilidades de arrojar falsos positivos. Por una parte, como se dan datos únicamente de uno o dos experimentos, no queda claro que los resultados que ahí aparezcan sean fácilmente replicables. Bertamini y Munafò observan que los brief reports no sólo incluyen menos experimentos, sino que además estos experimentos suelen tener muestras más pequeñas, lo que de nuevo favorece que aparezcan falsos positivos asociados a la falta de poder estadístico.
Las revistas pueden tener interés a corto plazo en favorecer estos informes breves de experimentos realizados con muestras pequeñas. Sus índices de impacto suben con el número de citas. Así que les interesa publicar artículos fáciles de leer y que generen polémica, independientemente de que se produzca porque otros autores repliquen los resultados o porque no consigan hacerlo. No en vano, los autores de este estudio observan que existe una correlación entre el índice de impacto de una revista y el grado en el que sus artículos exageran el tamaño real de los efectos que estudian. En otras palabras, las revistas pueden tener interés en vender “aire” porque aunque eso no haga progresar la ciencia, sí que genera citas y discusión.
La solución a estos problemas pasa por medir el impacto de las revistas no sólo por el número de citas que obtienen, sino también por otros criterios de calidad como la replicabilidad de sus resultados y los sesgos de publicación que puedan observarse entre sus artículos. También abogan por sustituir el actual énfasis en la cantidad de publicaciones por una mejor valoración de su calidad. En este sentido, destacan la política del Research Excellence Framwork del Reino Unido que desde hace unos años valora la producción científica de los departamentos y de los candidatos a diferentes puestos teniendo en cuenta únicamente las cuatro mejores publicaciones de los investigadores, de modo que se les incentiva para primar la calidad sobre la cantidad.
__________
mvadillo.com 
Great! Yo soy un gran fan de medir los CV de los investigadores por sus mejores papers y no por la suma a pelo de todos los papers. Lo escuché hace tiempo en una conferencia sobre carrera investigadora que dio un científico del MIT (creo recordar): Ellos ya contrataban teniendo en cuenta, por un lado, toda la producción científica, y por otro, sólo los 5 mejores papers. Además, el candidato tenía que hacer una defensa de estos papers en una entrevista y exponer qué aportaban a su área de investigación. Esta última parte de la entrevista solía ser la que más peso tenía a la hora de contratar al personal.
Ahora bien, en España los departamentos lo que intentan es contratar al enchufado de turno…pero esa es otra historia.
En el tema de los short reports creo que es buena idea si se usan bien. Están bien para publicar resultados que, por alguna razón, es importante que salgan rápidos. En algunas áreas (e.g., psicología experimental) esto no es muy usual y no debería de haber casi ningún short report.
Lo del “enchufado de turno” se merece un post en sí mismo :-( Lo que más me sorprende del tema de la cantidad vs. la calidad es que cuando en España aún apenas hemos llegado a implantar el sistema de méritos más naive, el que prima la cantidad, en otros países ya están de vuelta y empiezan con este otro sistema mejor, basado en la calidad. Aquí estaremos siempre 15 años atrás…