Una de las quejas más recurrentes del profesorado universitario es que el sistema académico valora más la investigación que la docencia. Este descontento no afecta sólo a los profesores individuales, sino a las universidades en su conjunto, cuya situación en los rankings de calidad suele depender no tanto de la enseñanza como de su producción científica. Quienes han tenido la desgracia de padecerme durante años saben que tiendo a atribuir estas afirmaciones más a los malos investigadores que a los buenos profesores. Pero no por ello dejo de estar de acuerdo con ellas.
El gran problema de medir la calidad de una universidad por su excelencia docente es que, a diferencia de lo que sucede con la investigación, no tenemos ninguna metodología válida para medirla y no ha habido ningún interés en desarrollarla. Lo más parecido que tenemos son las evaluaciones del profesorado que rellenan los estudiantes al terminar cada asignatura y que muy de vez en cuando tienen algún peso en la contratación de profesores o en su ascenso. ¿Sirven estas evaluaciones para medir la calidad de un profesor? Todo sugiere que no, o al menos eso es lo que se desprende de un estudio reciente de Michaela Braga, Marco Paccagnella y Michele Pellizzari. Este estudio aprovecha que en la universidad de la primera autora existen asignaturas que son impartidas por varios profesores. La asignación de los estudiantes a cada uno de los profesores es totalmente aleatoria. Eso les permite explorar cómo la experiencia de haber recibido clases de un profesor u otro influye en el rendimiento futuro de cada estudiante. La idea es que si un profesor es bueno, los estudiantes que hayan aprendido con él tendrán un mejor rendimiento durante los años siguientes que los estudiantes que no hayan pasado por sus manos.
Los resultados del estudio muestran que, cuando la calidad de un profesor se mide de esta manera, las puntuaciones resultantes correlacionan negativamente con las evaluaciones de satisfacción que hacen los estudiantes al terminar la asignatura. En otras palabras, los profesores que dejan mejor huella en sus alumnos tienden también a dejarlos más insatisfechos. Los datos sugieren que esta correlación negativa se debe sobre todo a los peores estudiantes, ya que no está presente en las aulas donde predominan los buenos estudiantes.
Lo que sí que correlaciona positivamente con las encuestas de satisfacción son las notas que reciben los alumnos. Si un profesor pone buenas notas, entonces los estudiantes le dan una mejor puntuación en las encuestas de satisfacción. Todo sugiere que lo que están midiendo estas encuestas no es la calidad de la docencia, sino simplemente la cantidad de esfuerzo que un profesor les exige a sus alumnos. De hecho, se trata de una medida tan mala, que los autores del estudio han llegado a encontrar una relación entre el tiempo que hace el día en que se rellena la encuesta y los resultados de la misma. Los alumnos dan mejores puntuaciones a sus profesores si hace sol que si llueve.
No sé qué conclusiones puede extraer un alumno de estos datos, pero sí creo que nos permiten darles algunos consejos a los profesores universitarios que quieran aspirar a la excelencia. Primero, intenta que tu asignatura se imparta durante la primavera para que la evaluación coincida con los primeros días del verano. Y segundo, tus evaluaciones serán mucho mejores si en plena clase de Psicología de la Personalidad les pones a tus alumnos dos horas de Buscando a Nemo o en su defecto cualquier película recomendada para niños menores de 4 años.
__________
Braga, M., Paccagnella, M., & Pellizzari, M. (2014). Evaluating students’ evaluations of professors. Economics of Education Review, 41, 71-88.
mvadillo.com 
Sobre este tema, vi una charla bastante interesante hace tiempo: https://www.youtube.com/watch?v=LAScfksf0dE que dice que la calidad del profesorado es un rasgo relativamente estable (el profe malo no mejora con el tiempo :D)
Hay que ver la botella medio llena: Eso quiere decir que tampoco hay razón para esperar que empeore ;) Gracias por el link!
Tampoco es tan raro que exista correlación entre las buenas notas que sacan los alumnos y la evaluación favorable de ese profesor. Una interpretación optimista es que un buen profesor enseña mejor y, por lo tanto, sus alumnos sacan mejores notas, y, además, recibe mejores evaluaciones de sus alumnos. Es decir la calidad de la docencia del profesor influye tanto en las calificaciones de sus alumnos como en la puntuación que éstos le asignan. Pura lógica, je, je.. Un saludo
Hola Alfredo! Eso sólo explica la mitad de la historia. Los alumnos que hacen buenas evaluaciones de un profesor sacan buenas notas en su asignatura, pero peores notas en las asignaturas siguientes! Ese resultado me parece super-curioso…
Debe ser el conocido efecto de la regresión a la media.
Va a parecer que los autores me pagan por defenderlos, pero no creo que la regresión a la media pueda explicar esa correlación negativa. La regresión a la media puede hacer que dada una correlación alta en una medida, cualquier otra correlación sea menor. Pero no puede hacer que una correlación positiva se convierta en una negativa.
En mi universidad, desde hace muchos años el profesor que saca mejores valoraciones de los alumnos es uno de magisterio que no hace exámenes y les pone la nota máxima a todos los alumnos. Un año sí y otro también, sale en la prensa local para pontificar sobre la excelencia académica, y lo fotografían recibiendo los saludos del rector.
Yo durante varios años he estado sacando unas valoraciones bastante por encima de la media, cosa que no podía evitar que inflara un poco mi vanidad, pero este año les pasaron la encuesta a los alumnos al día siguiente de haberles entregado yo las notas (muy malas) de cierto ejercicio que habían hecho (o, más bien, no habían hecho; la fecha del ejercicio estaba demasiado próxima a la vuelta de vacaciones y ya se sabe que la carne es débil). He pasado sin transición de ser un profesor muy bueno, según las encuestas, a ser uno bastante malo. Muchos alumnos incluso aprovecharon para poner notas bajas los apartados que habrían tenido que dejar en blanco (“sólo en caso de que la materia sea impartida por varios profesores, valore la coordinación entre ellos, etc”; aunque es obvio que de tal materia yo era el único profesor, muchos quisieron dejar constancia de lo mal que me coordino con mis hipotéticos codocentes).
Tengo que decir, y esto me sorprendió, que un grupo de alumnos me seguían dando puntuaciones muy altas, pero no había puntuaciones intermedias: los que no me consideraban un profesor maravilloso, me consideraban un profesor terrible. Menos mal que no les preguntaban por mi forma de vestir.
Es que… cómo se ocurre coordinarte mal contigo mismo. Ya te vale… ;) Una cosa que me indigna de todo esto es que durante los últimos años se han perdido millones de horas (literalmente) en tonterías como que los profesores universitarios plasmen los objetivos de las asignaturas en términos de competencias (por poner un ejemplo). Mientras tanto nadie “del sector” trabaja en cosas realmente importantes como que tengamos un buen sistema para evaluar la docencia. Es difícil exagerar lo importante que es tener algún método útil para valorar la docencia porque mientras no tengamos esos métodos tampoco tendremos ninguna forma de asegurarnos de que estamos mejorando la docencia ni podremos evaluar si las reformas que se hacen (tanto en el sistema en sus conjunto como en cada universidad en particular) sirven de algo o no. Mientras no haya una forma de evaluar cómo de buena es la enseñanza, todo lo que se haga desde los departamentos de calidad docente no podrá ser considerado más que pseudociencia, creo yo…
Hace unos años se preguntaba a los alumnos sobre algo tan concreto como la puntualidad con la que el profesor iniciaba sus clases. Como se trata de un dato objetivo y fácil de establecer, sería de esperar que las respuestas del alumnado tuvieran una gran coincidencia. El hecho, sin embargo, es que incluso a este respecto se podía ver una enorme dispersión en las respuestas: para determinados alumnos, el profesor era puntualísimo, y para otros era el colmo de la impuntualidad.
Interesante artículo y análisis. Estoy de acuerdo con que la evaluación de los estudiantes basada en su percepción no debería ser la única herramienta a la hora de tomar decisiones acerca del futuro de un docente (tanto negativas como positivas). Estoy de acuerdo con que se deben mejorar los procesos de evaluación, y ser muy cuidadosos en el cómo y en el cuándo, si queremos recoger datos fiables. Incluso, pongo en duda la meta a donde nos está llevando el proceso de certificación continua, que a veces acredita que se llevó a cabo un proceso para la garantía de calidad, pero no garantiza la calidad en sí misma.
Sin embargo, tengo que decir que no estoy de acuerdo con desvalorizar la opinión de los estudiantes. Son múltiples los estudios, desde hace más de 30 años, que vienen demostrando la validez de su opinión. Su valoración acerca de las metodologías, el dominio de la materia, la interacción con los estudiantes o la motivación por enseñar, son ejemplos de cuestiones importantes donde su opinión es fiable. Quizá no deberíamos centrar la evaluación de los estudiantes tanto en los resultados sino más en el proceso, quizá habría que enseñar a los estudiantes en qué consiste la evaluación, cuál es la finalidad de esta, y qué consecuencias tendrá.
Los últimos estudios apuntan a que lo importante es, como en tantas otras cuestiones, triangular la información. Por ello, la observación entre pares en el aula, las entrevistas de valoración, el seguimiento del docente, la observación de evaluadores expertos, o incluso la evaluación de un ‘estudiante misterioso’, vienen despuntando como métodos complementarios (no sustitutivos de evaluación).
Creo que afirmar que no se está haciendo nada al respecto, es equivocado, sí estaría de acuerdo en que se necesita avanzar mucho al respecto en la universidad española. De hecho, con tanto procedimiento de control podemos estar olvidándonos de lo importante de la evaluación formativa. Puede que así, los docentes acaben buscando que haga buen tiempo y poner vídeos relajantes, en lugar de buscar mejorar cada año su docencia, y en consecuencia, el aprendizaje de sus estudiantes (que para eso se metieron en esto).
Hola Lucía, En realidad estoy totalmente de acuerdo con tu diagnóstico. También yo creo que la opinión de los estudiantes es un indicador importante de la calidad docente. Al fin y al cabo los estudiantes son los testigos más directos y quienes se tienen que beneficiar de la docencia. El problema no es que su opinión no valga, sino que no debería ser la única fuente de información. En general, creo que esto mismo se aplica a los indicadores de la producción investigadora. Ninguno de ellos es perfecto, pero aplicando varios de ellos a la vez (y haciendo un esfuerzo constante por mejorarlos) se puede llegar a tener una evaluación razonablemente buena.