Cómo medir la calidad de la enseñanza universitaria

Una de las quejas más recurrentes del profesorado universitario es que el sistema académico valora más la investigación que la docencia. Este descontento no afecta sólo a los profesores individuales, sino a las universidades en su conjunto, cuya situación en los rankings de calidad suele depender no tanto de la enseñanza como de su producción científica. Quienes han tenido la desgracia de padecerme durante años saben que tiendo a atribuir estas afirmaciones más a los malos investigadores que a los buenos profesores. Pero no por ello dejo de estar de acuerdo con ellas.

El gran problema de medir la calidad de una universidad por su excelencia docente es que, a diferencia de lo que sucede con la investigación, no tenemos ninguna metodología válida para medirla y no ha habido ningún interés en desarrollarla. Lo más parecido que tenemos son las evaluaciones del profesorado que rellenan los estudiantes al terminar cada asignatura y que muy de vez en cuando tienen algún peso en la contratación de profesores o en su ascenso. ¿Sirven estas evaluaciones para medir la calidad de un profesor? Todo sugiere que no, o al menos eso es lo que se desprende de un estudio reciente de Michaela Braga, Marco Paccagnella y Michele Pellizzari. Este estudio aprovecha que en la universidad de la primera autora existen asignaturas que son impartidas por varios profesores. La asignación de los estudiantes a cada uno de los profesores es totalmente aleatoria. Eso les permite explorar cómo la experiencia de haber recibido clases de un profesor u otro influye en el rendimiento futuro de cada estudiante. La idea es que si un profesor es bueno, los estudiantes que hayan aprendido con él tendrán un mejor rendimiento durante los años siguientes que los estudiantes que no hayan pasado por sus manos.

Los resultados del estudio muestran que, cuando la calidad de un profesor se mide de esta manera, las puntuaciones resultantes correlacionan negativamente con las evaluaciones de satisfacción que hacen los estudiantes al terminar la asignatura. En otras palabras, los profesores que dejan mejor huella en sus alumnos tienden también a dejarlos más insatisfechos. Los datos sugieren que esta correlación negativa se debe sobre todo a los peores estudiantes, ya que no está presente en las aulas donde predominan los buenos estudiantes.

Lo que sí que correlaciona positivamente con las encuestas de satisfacción son las notas que reciben los alumnos. Si un profesor pone buenas notas, entonces los estudiantes le dan una mejor puntuación en las encuestas de satisfacción. Todo sugiere que lo que están midiendo estas encuestas no es la calidad de la docencia, sino simplemente la cantidad de esfuerzo que un profesor les exige a sus alumnos. De hecho, se trata de una medida tan mala, que los autores del estudio han llegado a encontrar una relación entre el tiempo que hace el día en que se rellena la encuesta y los resultados de la misma. Los alumnos dan mejores puntuaciones a sus profesores si hace sol que si llueve.

No sé qué conclusiones puede extraer un alumno de estos datos, pero sí creo que nos permiten darles algunos consejos a los profesores universitarios que quieran aspirar a la excelencia. Primero, intenta que tu asignatura se imparta durante la primavera para que la evaluación coincida con los primeros días del verano. Y segundo, tus evaluaciones serán mucho mejores si en plena clase de Psicología de la Personalidad les pones a tus alumnos dos horas de Buscando a Nemo o en su defecto cualquier película recomendada para niños menores de 4 años.

__________

Braga, M., Paccagnella, M., & Pellizzari, M. (2014). Evaluating students’ evaluations of professors. Economics of Education Review, 41, 71-88.

Ranking académico de universidades del mundo

El pasado 15 de Agosto se publicó la nueva edición del prestigioso Academic Ranking of World Universities que cada año elabora la Universidad Jiao Tong de Shangai. Con respecto a la edición anterior, no se observa ninguna diferencia en las 16 primeras posiciones del ranking, que vuelve a estar liderado por Harvard, Stanford, el MIT, Berkeley y Cambridge. En el ámbito europeo las tres universidades líderes vuelven a ser la citada Cambridge, Oxford (en la posición 10) y University College London (21). Por primera vez en los diez años de historia del ranking, se hace un hueco la Universidad del País Vasco, que aparece en el bloque de posiciones 301-400 y se ubica así, según los autores del ranking, entre las 4-7 mejores universidades españolas. Otras universidades españolas que figuran en el ranking son la Autónoma de Madrid (201-300), la Complutense (201-300), la Autónoma de Barcelona (301-400), la Politécnica de Valencia (301-400), la Universidad de Valencia (301-400), la Universidad de Granada (401-500), la Pompeu Fabra (401-500), la Universidad de Vigo (401-500), la Universidad de Zaragoza (401-500).

Ranking de universidades públicas españolas

Un año más Buela-Casal y sus colaboradores publican en Psicothema el ranking de universidades públicas españolas, en este caso con los datos de productividad científica del 2010. Como en las dos ediciones anteriores, este ranking se elabora teniendo en cuenta el número de artículos publicados en revistas indexadas en el Journal Citation Reports (JCR), los tramos de investigación reconocidos, los proyectos de I+D adjudicados, las tesis doctorales defendidas, las becas FPU conseguidas, los doctorados con mención de calidad y el número de patentes. La Universidad Complutense de Madrid, la Universidad de Barcelona y la Universidad de Granada se hacen con los primeros puestos del ranking global. Sin embargo, cuando se corrige la producción científica global por el número de profesores, se observa que las universidades más productivas son la Pompeu Fabra, la Autónoma de Barcelona y la Pablo de Olavide. Comparando estos resultados con los del ranking de 2009 se observan pocos movimientos en las universidades más importantes: en los diez primeros puestos se repiten exactamente las mismas universidades que en la edición anterior. Las puntuaciones de este ranking también concuerdan razonablemente bien con las del prestigioso Academic Ranking of World Universities  (Shangai Jiao Tong University, 2010), que recogía la producción científica durante el 2010 de las 500 mejores universidades del mundo basándose principalmente en el número de publicaciones indexadas en el JCR y el número de profesores y alumnos que han logrado el Premio Nobel. En este ranking internacional aparecían únicamente diez universidades españolas, todas ellas entre los puestos 201 y 500. De entre esas diez universidades, seis también aparecen en las primeras posiciones del ranking de Buela-Casal y colaboradores: la Universidad Pompeu Fabra, la Autónoma de Barcelona, la Politécnica de Valencia, la Autónoma de Madrid, la Universidad de Barcelona y la Universidad de Granada.

__________

Buela-Casal, G., Bermúdez, M. P., Sierra, J. C., Quevedo-Blasco, R., Castro, A., & Guillén-Riquelme, A. (2011). Ranking de 2010 en producción y productividad en investigación de las universidades públicas españolas. Psicothema, 23, 527-536.

Shangai Jiao Tong University (2010). Academic Ranking of World Universities. Recuperado el 2 de enero de 2012 de http://www.arwu.org.