Cómo medir la calidad de la enseñanza universitaria

Una de las quejas más recurrentes del profesorado universitario es que el sistema académico valora más la investigación que la docencia. Este descontento no afecta sólo a los profesores individuales, sino a las universidades en su conjunto, cuya situación en los rankings de calidad suele depender no tanto de la enseñanza como de su producción científica. Quienes han tenido la desgracia de padecerme durante años saben que tiendo a atribuir estas afirmaciones más a los malos investigadores que a los buenos profesores. Pero no por ello dejo de estar de acuerdo con ellas.

El gran problema de medir la calidad de una universidad por su excelencia docente es que, a diferencia de lo que sucede con la investigación, no tenemos ninguna metodología válida para medirla y no ha habido ningún interés en desarrollarla. Lo más parecido que tenemos son las evaluaciones del profesorado que rellenan los estudiantes al terminar cada asignatura y que muy de vez en cuando tienen algún peso en la contratación de profesores o en su ascenso. ¿Sirven estas evaluaciones para medir la calidad de un profesor? Todo sugiere que no, o al menos eso es lo que se desprende de un estudio reciente de Michaela Braga, Marco Paccagnella y Michele Pellizzari. Este estudio aprovecha que en la universidad de la primera autora existen asignaturas que son impartidas por varios profesores. La asignación de los estudiantes a cada uno de los profesores es totalmente aleatoria. Eso les permite explorar cómo la experiencia de haber recibido clases de un profesor u otro influye en el rendimiento futuro de cada estudiante. La idea es que si un profesor es bueno, los estudiantes que hayan aprendido con él tendrán un mejor rendimiento durante los años siguientes que los estudiantes que no hayan pasado por sus manos.

Los resultados del estudio muestran que, cuando la calidad de un profesor se mide de esta manera, las puntuaciones resultantes correlacionan negativamente con las evaluaciones de satisfacción que hacen los estudiantes al terminar la asignatura. En otras palabras, los profesores que dejan mejor huella en sus alumnos tienden también a dejarlos más insatisfechos. Los datos sugieren que esta correlación negativa se debe sobre todo a los peores estudiantes, ya que no está presente en las aulas donde predominan los buenos estudiantes.

Lo que sí que correlaciona positivamente con las encuestas de satisfacción son las notas que reciben los alumnos. Si un profesor pone buenas notas, entonces los estudiantes le dan una mejor puntuación en las encuestas de satisfacción. Todo sugiere que lo que están midiendo estas encuestas no es la calidad de la docencia, sino simplemente la cantidad de esfuerzo que un profesor les exige a sus alumnos. De hecho, se trata de una medida tan mala, que los autores del estudio han llegado a encontrar una relación entre el tiempo que hace el día en que se rellena la encuesta y los resultados de la misma. Los alumnos dan mejores puntuaciones a sus profesores si hace sol que si llueve.

No sé qué conclusiones puede extraer un alumno de estos datos, pero sí creo que nos permiten darles algunos consejos a los profesores universitarios que quieran aspirar a la excelencia. Primero, intenta que tu asignatura se imparta durante la primavera para que la evaluación coincida con los primeros días del verano. Y segundo, tus evaluaciones serán mucho mejores si en plena clase de Psicología de la Personalidad les pones a tus alumnos dos horas de Buscando a Nemo o en su defecto cualquier película recomendada para niños menores de 4 años.

__________

Braga, M., Paccagnella, M., & Pellizzari, M. (2014). Evaluating students’ evaluations of professors. Economics of Education Review, 41, 71-88.

Producto interior bruto, interés por la ciencia y rendimiento científico

Una de las desgracias de ser español es que cuando se publican los resultados del informe PISA entras en un estado catatónico que te impide reaccionar a cualquier estimulación hasta que la siguiente jornada de liga te resetea y todo vuelve a la normalidad. Afortunadamente los habitantes de otros países son capaces de indagar y rebuscar en los datos de PISA sin que las lágrimas se lo impidan. Gracias a ellos, de vez en cuando descubrimos algunas pautas interesantes, como las que se perfilan en el estudio que acaban de publicar Elliot Tucker-Drob, Amanda Cheung y Daniel Brilley en Psychological Science.

El artículo se centra en la relación entre el interés por la ciencia y el rendimiento de los estudiantes en las pruebas de ciencia de los exámenes PISA. Lógicamente, los estudiantes a los que les interesa más la ciencia suelen puntuar más alto en estas pruebas. Lo interesante es que cómo de estrecha es esa relación depende de un número de factores. Si lo piensas bien, hay muchos obstáculos que pueden hacer que un estudiante con interés por la ciencia no llegue a ser bueno en ciencias. Tucker-Drob y colaboradores nos revelan algunos de ellos.

Uno de los resultados más interesantes es que el grado de relación entre interés por la ciencia y rendimiento científico depende del producto interior bruto (PIB) del país. En general, en los países más ricos, la relación entre interés y rendimiento es más fuerte. Se trata sólo de una correlación (aunque muy fuerte) que podría obedecer a varios motivos. La interpretación más sencilla es que los países más ricos proporcionan más oportunidades para que las personas con interés por ciencia desarrollen sus capacidades. En otras palabras, los países ricos facilitan que el talento se convierta en rendimiento. Aunque es interesante que también cabe la interpretación contraria: Tal vez los países donde las personas con interés por la ciencia pueden perseguir sus intereses acaben siendo más prósperos.

PIBReproduzco aquí la figura con los datos sobre la relación entre PIB y correlación interés-rendimiento. Cuidado al interpretar esta gráfica: Los países que están más arriba no son necesariamente los que obtienen mejor rendimiento en ciencias, sino aquellos donde la relación entre interés y rendimiento es más fuerte. Por una vez, agrada ver que España está ligeramente por encima del intervalo de confianza para esta regresión. Es decir, la relación entre interés y rendimiento es ligeramente mayor de lo que cabría predecir dado el PIB español.  Italia, por ejemplo, tiene un PIB ligeramente superior, pero una correlación interés-rendimiento claramente inferior. Tal vez los datos más positivos sean los de Australia o Reino Unido, países que además de tener un PIB alto presentan una relación interés-rendimiento excepcionalmente alta. Se trata de países especialmente buenos a la hora de hacer que los alumnos más interesados consigan un buen dominio de las ciencias. Es curioso que algunos países muy prósperos, como Luxemburgo, presentan sin embargo correlaciones muy bajas.

Otro dato interesante del estudio es que da pistas muy claras sobre cómo influye el estatus socio económico de la familia en la relación entre interés y rendimiento. Como cabría esperar, la ejecución de los niños está más relacionada con sus intereses en las familias de clase alta, que son las que tienen más recursos para hacer que los niños desarrollen sus intereses. Pero, y aquí viene lo bueno, esta relación está totalmente mediada por el estatus socio económico medio de las escuelas en las que estudian sus niños. Es decir, que importa más el estatus de la escuela que el estatus de la familia. O dicho de otra forma, si una familia tiene un niño con interés por la ciencia, merece la pena hacer el esfuerzo de enviar a ese niño a una escuela “por encima de sus posibilidades”.

El estudio arroja otros datos que dan que pensar, como que el interés por la ciencia correlaciona con el índice de democracia de un país, con su gasto en I+D, con el índice de justicia social y con el índice de coherencia social, aunque curiosamente no con el índice de desigualdad Gini ni con el acceso a la educación. Mastiquemos estos datos antes de que los resultados del siguiente informe nos quiten el apetito.

__________

Tucker-Drob, E. M., Cheung, A. K., & Briley, D. A. (in press). Gross domestic product, science interest, and science achievement: A person x nation interaction. Psychological Science.

Demasiado bonito para ser cierto

O al menos esa es la conclusión a la que llega Gregory Francis en su último y fulminante artículo sobre los sesgos de publicación en las revistas de psicología. El dedo acusador señala en esta ocasión a la prestigiosa Psychological Science. Aplicando un sencillo análisis estadístico a 44 artículos publicados entre 2009 y 2012, Francis ha encontrado que el número de resultados significativos es excesivamente alto en el 82% de ellos. La idea en la que se basa el análisis no puede ser más simple. Imagina que un artículo contiene cuatro experimentos y todos ellos obtienen resultados significativos. ¿Cuál es la probabilidad de que esto suceda? Es fácil calcularlo si uno conoce la potencia estadística de cada experimento. Si, por ejemplo, la potencia de los cuatro experimentos es de 0.75, 0.80, 0.90 y 0.85, entonces la probabilidad de que todos ellos arrojen resultados significativos es 0.75 x 0.80 x 0.90 x 0.85, es decir, 0.459. Se trata de un número razonable y plausible. Ahora bien, si la potencia de los experimentos hubiera sido, por ejemplo, 0.60, 0.70, 0.50 y 0.45, entonces la probabilidad de que todos ellos hubieran tenido resultados significativos habría sido 0.095. En general, cuando esta probabilidad es menor de 0.10 se considera que el número de resultados significativos es demasiado alto para lo que cabría esperar por azar y se entiende que debe haber tenido lugar un problema de publicación selectiva, p-hacking o simple fraude. O eso, o que la suerte está jugando una pasada muy mala. No es nada tranquilizador saber que la inmensa mayoría de los artículos publicados en Psychological Science sale mal parada en esta prueba. Menos aún si se tiene en cuenta que no es la primera vez que estudios como este ponen el prestigio de la revista en entredicho.

__________

Francis, G. (2014). The frequency of excess success for articles in Psychological Science. Psychonomic Bulletin & Review, 21, 1180-1187.