¿Funciona el sistema de adjudicación de proyectos?

Screenshot 2014-02-14 10.22.34Hay una larga tradición de investigación que muestra que los llamados expertos suelen ser absolutamente incapaces de hacer predicciones y pronósticos precisos. Si se te viene a la cabeza la figura de los economistas que predijeron la crisis después de que ya había pasado, sí, ese es un buen ejemplo. Según un sugerente artículo que acabo de encontrar en Science, tal vez podría decirse otro tanto de los científicos que cada año evaluamos los proyectos de investigación que se presentan a diversas instituciones para pedir financiación. Al parecer, la puntuación que los revisores damos a los proyectos correlaciona muy poco o nada con la productividad posterior de ese proyecto de investigación. En esta figura se muestran diversos indicadores de productividad de los proyectos financiados por los NIH norteamericanos entre 2001 y 2008. Como podrás comprobar, apenas hay diferencias entre los proyectos que obtuvieron las puntuaciones más altas y los que tuvieron peor nota. De hecho, tanto el número de publicaciones por proyecto como el número citas por millón de dólares gastado fueron ligeramente mayores para los proyectos con peor puntuación. Estos datos son doblemente sorprendentes porque los proyectos con peor nota son también los que reciben menos financiación y, por tanto, los que en igualdad de condiciones deberían ser menos productivos. Cabe dudar de si estos indicadores son los mejores para medir el impacto real de un proyecto de investigación. Pero en cualquier caso, estos datos son food for thought.

Advertisements

2 thoughts on “¿Funciona el sistema de adjudicación de proyectos?

  1. Hay otros estudios que muestran que cada dolar invertido en un grupo de investigación pequeño/mediano es más rentable que el invertido en grupos grandes. Este estudio que cuentas parece que va en esa dirección. No creo que hable mucho del poder de predicción de las evaluaciones, sino más bien de la rentabilidad en términos científicos de financiar superproyectos. Hay que tener en cuenta que los grupos grandes piden proyectos grandes, por eso digo que esta información es más sobre cómo de eficaz es financiar grupos grandes (proyectos grandes) o pequeños. En suma, la idea de que hay que dar super-proyectos a super-grupos (o centros de investigación) se está desmontando poco a poco. Mientras tanto, el H2020 y nuestro gobierno parece que miran para otro lado.

    • Totalmente de acuerdo. Algunos datos sin duda va por ahí. Pero tengo la sensación de que no es toda la historia. Por ejemplo, el dato de que el número absoluto de publicaciones por proyecto sea mayor para los proyectos con peor puntuación creo que no puede explicarse así. El número de citas por millón de dólares eso sí, sin duda. Todo sugiere que invertir en muchos proyectos pequeños es más productivo. Creo que esto tiene que ver en parte con el propio funcionamiento de la ciencia, donde muchas veces es más interesante lo que encuentras por casualidad que lo que decías en el proyecto que querías investigar.

Escribe un comentario...

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s