Producto interior bruto, interés por la ciencia y rendimiento científico

Una de las desgracias de ser español es que cuando se publican los resultados del informe PISA entras en un estado catatónico que te impide reaccionar a cualquier estimulación hasta que la siguiente jornada de liga te resetea y todo vuelve a la normalidad. Afortunadamente los habitantes de otros países son capaces de indagar y rebuscar en los datos de PISA sin que las lágrimas se lo impidan. Gracias a ellos, de vez en cuando descubrimos algunas pautas interesantes, como las que se perfilan en el estudio que acaban de publicar Elliot Tucker-Drob, Amanda Cheung y Daniel Brilley en Psychological Science.

El artículo se centra en la relación entre el interés por la ciencia y el rendimiento de los estudiantes en las pruebas de ciencia de los exámenes PISA. Lógicamente, los estudiantes a los que les interesa más la ciencia suelen puntuar más alto en estas pruebas. Lo interesante es que cómo de estrecha es esa relación depende de un número de factores. Si lo piensas bien, hay muchos obstáculos que pueden hacer que un estudiante con interés por la ciencia no llegue a ser bueno en ciencias. Tucker-Drob y colaboradores nos revelan algunos de ellos.

Uno de los resultados más interesantes es que el grado de relación entre interés por la ciencia y rendimiento científico depende del producto interior bruto (PIB) del país. En general, en los países más ricos, la relación entre interés y rendimiento es más fuerte. Se trata sólo de una correlación (aunque muy fuerte) que podría obedecer a varios motivos. La interpretación más sencilla es que los países más ricos proporcionan más oportunidades para que las personas con interés por ciencia desarrollen sus capacidades. En otras palabras, los países ricos facilitan que el talento se convierta en rendimiento. Aunque es interesante que también cabe la interpretación contraria: Tal vez los países donde las personas con interés por la ciencia pueden perseguir sus intereses acaben siendo más prósperos.

PIBReproduzco aquí la figura con los datos sobre la relación entre PIB y correlación interés-rendimiento. Cuidado al interpretar esta gráfica: Los países que están más arriba no son necesariamente los que obtienen mejor rendimiento en ciencias, sino aquellos donde la relación entre interés y rendimiento es más fuerte. Por una vez, agrada ver que España está ligeramente por encima del intervalo de confianza para esta regresión. Es decir, la relación entre interés y rendimiento es ligeramente mayor de lo que cabría predecir dado el PIB español.  Italia, por ejemplo, tiene un PIB ligeramente superior, pero una correlación interés-rendimiento claramente inferior. Tal vez los datos más positivos sean los de Australia o Reino Unido, países que además de tener un PIB alto presentan una relación interés-rendimiento excepcionalmente alta. Se trata de países especialmente buenos a la hora de hacer que los alumnos más interesados consigan un buen dominio de las ciencias. Es curioso que algunos países muy prósperos, como Luxemburgo, presentan sin embargo correlaciones muy bajas.

Otro dato interesante del estudio es que da pistas muy claras sobre cómo influye el estatus socio económico de la familia en la relación entre interés y rendimiento. Como cabría esperar, la ejecución de los niños está más relacionada con sus intereses en las familias de clase alta, que son las que tienen más recursos para hacer que los niños desarrollen sus intereses. Pero, y aquí viene lo bueno, esta relación está totalmente mediada por el estatus socio económico medio de las escuelas en las que estudian sus niños. Es decir, que importa más el estatus de la escuela que el estatus de la familia. O dicho de otra forma, si una familia tiene un niño con interés por la ciencia, merece la pena hacer el esfuerzo de enviar a ese niño a una escuela “por encima de sus posibilidades”.

El estudio arroja otros datos que dan que pensar, como que el interés por la ciencia correlaciona con el índice de democracia de un país, con su gasto en I+D, con el índice de justicia social y con el índice de coherencia social, aunque curiosamente no con el índice de desigualdad Gini ni con el acceso a la educación. Mastiquemos estos datos antes de que los resultados del siguiente informe nos quiten el apetito.

__________

Tucker-Drob, E. M., Cheung, A. K., & Briley, D. A. (in press). Gross domestic product, science interest, and science achievement: A person x nation interaction. Psychological Science.

¿Funciona el sistema de adjudicación de proyectos?

Screenshot 2014-02-14 10.22.34Hay una larga tradición de investigación que muestra que los llamados expertos suelen ser absolutamente incapaces de hacer predicciones y pronósticos precisos. Si se te viene a la cabeza la figura de los economistas que predijeron la crisis después de que ya había pasado, sí, ese es un buen ejemplo. Según un sugerente artículo que acabo de encontrar en Science, tal vez podría decirse otro tanto de los científicos que cada año evaluamos los proyectos de investigación que se presentan a diversas instituciones para pedir financiación. Al parecer, la puntuación que los revisores damos a los proyectos correlaciona muy poco o nada con la productividad posterior de ese proyecto de investigación. En esta figura se muestran diversos indicadores de productividad de los proyectos financiados por los NIH norteamericanos entre 2001 y 2008. Como podrás comprobar, apenas hay diferencias entre los proyectos que obtuvieron las puntuaciones más altas y los que tuvieron peor nota. De hecho, tanto el número de publicaciones por proyecto como el número citas por millón de dólares gastado fueron ligeramente mayores para los proyectos con peor puntuación. Estos datos son doblemente sorprendentes porque los proyectos con peor nota son también los que reciben menos financiación y, por tanto, los que en igualdad de condiciones deberían ser menos productivos. Cabe dudar de si estos indicadores son los mejores para medir el impacto real de un proyecto de investigación. Pero en cualquier caso, estos datos son food for thought.

Cómo hacer que tus experimentos molen

En el último número de Perspectives on Psychological Science, Kurt Gray y el celebérrimo Dan Wegner comparten con nosotros los seis ingredientes fundamentales de su receta para el éxito:

  1. Primero los fenómenos: La teoría está bien, pero cuando te sea posible, haz que tus investigaciones se basen en una experiencia humana profunda, universal y poderosa.
  2. Sé sorprendente: Investiga algo que desafíe el sentido común y la intuición, que muestre que las cosas no son lo que parecen.
  3. Dirígete a las abuelas, no a los científicos: Desafiar las ideas que interesan a tus colegas profesionales genera cierto éxito a corto plazo. Pero es más probable que tu investigación se mantenga vigente si cuestiona las intuiciones de la población general.
  4. Sé el participante: Haz que tu experimento sea una experiencia para tus participantes. No temas que el procedimiento sea estrambótico y excéntrico.
  5. Estadística sencilla: Si puedes analizar tus datos con una prueba t, no hagas un ANOVA. Si puedes hacer un ANOVA de un factor, no hagas un ANOVA factorial.
  6. Comienzos poderosos: El primer párrafo de tu artículo debería resumir toda la investigación haciendo énfasis en todo lo anterior: centrarse en una experiencia profunda, contra-intuitiva y fácil de entender.

Si estos consejos te parecen sacados de un libro de auto-ayuda para investigadores, en mi mesa siempre habrá un plato para ti. Seguir estas pautas tal vez te lleve a conseguir más citas en la Web of Science. De vez en cuando incluso puede que te llame alguien de tu periódico local para hacerte una entrevista. Pero mi humilde opinión es que esta filosofía conduce a publicar estudios que son a la verdadera ciencia lo que Operación Triunfo es a la música. Cuando el impacto y el sensacionalismo se hacen tan importantes o más que el rigor y la veracidad, inevitablemente sucede lo que en los últimos años le ha pasado a la psicología social. Ni más ni menos.

__________

Gray, K., & Wegner, D. M. (2013). Six guidelines for interesting research. Perspectives on Psychological Science, 8, 549-553. doi: 1177/1745691613497967.

Ranking de universidades públicas españolas

Un año más Buela-Casal y sus colaboradores publican en Psicothema el ranking de universidades públicas españolas, en este caso con los datos de productividad científica del 2010. Como en las dos ediciones anteriores, este ranking se elabora teniendo en cuenta el número de artículos publicados en revistas indexadas en el Journal Citation Reports (JCR), los tramos de investigación reconocidos, los proyectos de I+D adjudicados, las tesis doctorales defendidas, las becas FPU conseguidas, los doctorados con mención de calidad y el número de patentes. La Universidad Complutense de Madrid, la Universidad de Barcelona y la Universidad de Granada se hacen con los primeros puestos del ranking global. Sin embargo, cuando se corrige la producción científica global por el número de profesores, se observa que las universidades más productivas son la Pompeu Fabra, la Autónoma de Barcelona y la Pablo de Olavide. Comparando estos resultados con los del ranking de 2009 se observan pocos movimientos en las universidades más importantes: en los diez primeros puestos se repiten exactamente las mismas universidades que en la edición anterior. Las puntuaciones de este ranking también concuerdan razonablemente bien con las del prestigioso Academic Ranking of World Universities  (Shangai Jiao Tong University, 2010), que recogía la producción científica durante el 2010 de las 500 mejores universidades del mundo basándose principalmente en el número de publicaciones indexadas en el JCR y el número de profesores y alumnos que han logrado el Premio Nobel. En este ranking internacional aparecían únicamente diez universidades españolas, todas ellas entre los puestos 201 y 500. De entre esas diez universidades, seis también aparecen en las primeras posiciones del ranking de Buela-Casal y colaboradores: la Universidad Pompeu Fabra, la Autónoma de Barcelona, la Politécnica de Valencia, la Autónoma de Madrid, la Universidad de Barcelona y la Universidad de Granada.

__________

Buela-Casal, G., Bermúdez, M. P., Sierra, J. C., Quevedo-Blasco, R., Castro, A., & Guillén-Riquelme, A. (2011). Ranking de 2010 en producción y productividad en investigación de las universidades públicas españolas. Psicothema, 23, 527-536.

Shangai Jiao Tong University (2010). Academic Ranking of World Universities. Recuperado el 2 de enero de 2012 de http://www.arwu.org.