Hay una larga tradición de investigación que muestra que los llamados expertos suelen ser absolutamente incapaces de hacer predicciones y pronósticos precisos. Si se te viene a la cabeza la figura de los economistas que predijeron la crisis después de que ya había pasado, sí, ese es un buen ejemplo. Según un sugerente artículo que acabo de encontrar en Science, tal vez podría decirse otro tanto de los científicos que cada año evaluamos los proyectos de investigación que se presentan a diversas instituciones para pedir financiación. Al parecer, la puntuación que los revisores damos a los proyectos correlaciona muy poco o nada con la productividad posterior de ese proyecto de investigación. En esta figura se muestran diversos indicadores de productividad de los proyectos financiados por los NIH norteamericanos entre 2001 y 2008. Como podrás comprobar, apenas hay diferencias entre los proyectos que obtuvieron las puntuaciones más altas y los que tuvieron peor nota. De hecho, tanto el número de publicaciones por proyecto como el número citas por millón de dólares gastado fueron ligeramente mayores para los proyectos con peor puntuación. Estos datos son doblemente sorprendentes porque los proyectos con peor nota son también los que reciben menos financiación y, por tanto, los que en igualdad de condiciones deberían ser menos productivos. Cabe dudar de si estos indicadores son los mejores para medir el impacto real de un proyecto de investigación. Pero en cualquier caso, estos datos son food for thought.
-
Follow
Following
Already have a WordPress.com account? Log in now.
mvadillo.com 
Hay otros estudios que muestran que cada dolar invertido en un grupo de investigación pequeño/mediano es más rentable que el invertido en grupos grandes. Este estudio que cuentas parece que va en esa dirección. No creo que hable mucho del poder de predicción de las evaluaciones, sino más bien de la rentabilidad en términos científicos de financiar superproyectos. Hay que tener en cuenta que los grupos grandes piden proyectos grandes, por eso digo que esta información es más sobre cómo de eficaz es financiar grupos grandes (proyectos grandes) o pequeños. En suma, la idea de que hay que dar super-proyectos a super-grupos (o centros de investigación) se está desmontando poco a poco. Mientras tanto, el H2020 y nuestro gobierno parece que miran para otro lado.
Totalmente de acuerdo. Algunos datos sin duda va por ahí. Pero tengo la sensación de que no es toda la historia. Por ejemplo, el dato de que el número absoluto de publicaciones por proyecto sea mayor para los proyectos con peor puntuación creo que no puede explicarse así. El número de citas por millón de dólares eso sí, sin duda. Todo sugiere que invertir en muchos proyectos pequeños es más productivo. Creo que esto tiene que ver en parte con el propio funcionamiento de la ciencia, donde muchas veces es más interesante lo que encuentras por casualidad que lo que decías en el proyecto que querías investigar.