La psicología al desnudo

Ayer por la noche, la prestigiosa revista Science publicaba bajo el título “Estimating the reproducibility of psychological science” los resultados del que sin duda será el estudio del año o de la década. Doscientos setenta investigadores de todo el mundo se pusieron de acuerdo para intentar replicar cien experimentos de psicología publicados originalmente en 2008 en tres de las más importantes revistas de psicología: Journal of Experimental Psychology: Learning, Memory and Cognition; Journal of Personality and Social Psychology; y Psychological Science. Tal y como reconocen los propios autores, no hay una única forma de estimar si un estudio ha replicado exitosamente los resultados de otro. Pero si tomamos como medida del éxito el simple hecho de si la réplica ha arrojado resultados estadísticamente significativos o no, entonces tan sólo el 36% de los estudios originales se ha replicado. El artículo y su abundante material suplementario están llenos de matices e información valiosa que habrá que desmenuzar y analizar con calma durante los próximos días. Pero aquí quiero quedarme únicamente con esa cifra aparentemente penosa: 36%.

Apenas publicado el artículo, los titulares de medio mundo se llenaban con la triste noticia de que sólo el 36% de los experimentos de psicología eran replicables. Pero, ¿es poco un 36%? Si te paras a pensarlo, esta pregunta es más difícil de responder de lo que parece. Sin duda, un 36% es mucho menos de lo que esperábamos y de lo que creemos deseable para cualquier ciencia sana. Pero si la pregunta se enfoca bajo otro ángulo y nos preguntamos si un 36% es una cifra normal o no para una disciplina científica, enseguida caeremos en la cuenta de que no tenemos absolutamente ninguna evidencia para responder a esta pregunta. Son varios los estudios de carácter estadístico que han sugerido que los datos publicados en las revistas son demasiado bonitos para ser cierto y que seguramente en torno al 50% o más de los resultados científicos son falsos positivos. Pero en su mayor parte estas estimaciones son sólo elucubraciones teóricas basadas en la estadística. Más allá de la especulación lo cierto es que, salvo por unos pocos estudios pequeños y poco sistemáticos, apenas tenemos datos empíricos sobre cómo de replicables son los resultados que se publican en las revistas científicas. De cualquier disciplina.

Durante una temporada, los blogs, periódicos y revistas se harán eco del titular fácil de que sólo uno de cada tres experimentos de psicología puede replicarse. Sin embargo, creo que no pasará mucho tiempo hasta que se le reconozca a la psicología el mérito de haber sido la primera disciplina en mostrar sus vergüenzas y reconocer que el rey va ligero de ropa. El artículo recién publicado en Science es el primer intento serio de explorar a gran escala la replicabilidad de los resultados científicos. Espero que le sigan muchos, dentro de la propia psicología y también en otras disciplinas, como el ya iniciado Cancer Biology Reproducibility Project. Preveo que pasado el tiempo, el artículo de estos 270 investigadores no será motivo de vergüenza para los psicólogos experimentales, sino que permanecerá como recordatorio de que un día esta pequeña disciplina se puso al frente de un movimiento llamado a revolucionar la ciencia que practicamos.

__________

Open Science Collaboration (2015). Estimating the reproducibility of psychological science. Science, 349, aac4716.

Should physicians think “unconsciously”?

It has become almost impossible to open a popular psychology book without coming across one or several chapters about the role of intuition and unconscious processes in decision making. If you haven’t heard about the “fast” System 1, “gut feelings” or decisions made in a “blink”, it might be difficult to beat your friends next time you play a trivia game. A common topic of this literature is that many of our daily decisions are based on automatic cognitive processes that we can hardly control and that remain out of consciousness. Some authors go one step further and suggest that, in fact, unconscious processes usually outperform deliberate thinking. Perhaps you have already heard that you should rely on your “gut feeling” when making complex financial decisions, like how to invest your savings. What you probably didn’t know is that some scholars are also starting to advise physicians to rely on their intuition to make better diagnoses. Read the post in Mapping Ignorance.

Si tu médico te dice que “piensa inconscientemente”…

Uno de los pecados más habituales de los divulgadores científicos es lanzarnos a colgar en nuestros blogs comentarios de los estudios más sexys que se publican sin pararnos a pensar si esos resultados serán sólidos o no. Desde luego, no merezco ser yo quien tire la primera piedra contra nadie. Si alguna vez he caído en ese error, y seguro que así ha sido, espero que el último artículo que acabo de publicar en Frontiers in Psychology con Olga Kostopoulou y David Shanks me redima de mis excesos.

Entre los hallazgos más intrigantes que se han publicado en los diez últimos años brilla con luz propia el llamado efecto de pensamiento inconsciente. Un estudio publicado en Science en 2006 sugería que cuando las personas nos vemos obligadas a tomar una decisión particularmente difícil, como elegir el mejor coche de un catálogo o decidir entre varios apartamentos, puede ser mejor dejar pasar un periodo de tiempo distraídas en otros asuntos que dedicar el mismo tiempo a pensar en el problema en cuestión. Este descubriendo encaja bastante bien con el actual interés por todo lo que tiene que ver con la intuición y los heurísticos. De hecho, es muy difícil abrir un libro de divulgación sin encontrarse referencias a estos famosos experimentos.

¿Demasiado bonito para ser cierto? Posiblemente sí. Muchos de los experimentos que han intentado replicar este efecto han fracasado estrepitosamente. Y se han publicado al menos dos  meta-análisis que sugieren que en los contados casos en los que se ha encontrado este fenómeno, podría no ser más que un falso positivo. A pesar de estas críticas, el entusiasmo por el pensamiento inconsciente no ha perdido un ápice de intensidad en los últimos años.

Tal vez te preocupe saber que, entre las muchas cosas para las que se ha sugerido que el pensamiento inconsciente podría ser útil, figura la toma de decisiones médicas. Como lo oyes. Según este punto de vista, cuando un médico tiene que decidir cuál es tu diagnóstico o cómo de grave es tu enfermedad, lo mejor que puede hacer es delegar la decisión en su “inconsciente”, especialmente si tu caso es complejo. Y, lo creas o no, hasta hace poco esta recomendación tenía cierto apoyo empírico. En 2010 se publicó un estudio en el que se observó que los estudiantes de psicología clínica hacían mejores diagnósticos después de un periodo de distracción que después de un periodo de reflexión equivalente. No es de extrañar que empezaran a publicarse artículos en revistas médicas sugiriendo que la carrera de medicina debía incluir asignaturas para educar la “intuición médica”.

Lo que estos artículos no mencionan es que ha habido al menos otros tres intentos de replicar el efecto de pensamiento inconsciente en toma de decisiones médicas y que ninguno de ellos ha tenido resultados positivos. Y no parece que estos resultados nulos se deban a falta de potencia estadística. Según el meta-análisis que acabamos de publicar, si uno toma en conjunto todos estos estudios sobre decisiones médicas, el efecto de pensamiento inconsciente no es estadísticamente significativo. De hecho, aplicando una sencilla técnica estadística conocida como Bayes Factor hemos podido comprobar que la mayor parte de los estudios realizados dan apoyo a la idea de que el efecto de pensamiento inconsciente no ha tenido lugar.

De modo que, para terminar la frase que abre este post, si tu médico te dice que toma sus decisiones basándose en la intuición, dile que lea esta entrada dos veces cuando baje la marea. Y, sí, cambia de médico.

__________

Vadillo, M. A., Kostopoulou, O., & Shanks, D. R. (2015). A critical review and meta-analysis of the unconscious thought effect in medical decision making. Frontiers in Psychology, 6, 636.

Bilingüismo y sus ventajas: ¿Exageración científica?

Se me ocurren muchas razones por las que merece la pena estudiar un nuevo idioma. Pero a juzgar por las conclusiones del artículo recién publicado por de Bruin, Treccani, y Della Sala (2015) en Psychological Science, tal vez deba tachar alguna de ellas de mi lista o al menos moverla más abajo. Durante los últimos años se ha hecho fuerte la idea de que el bilingüismo es una suerte de gimnasia mental que mejora diversas capacidades cognitivas, especialmente aquellas a las que se alude genéricamente con el nombre de control ejecutivo. Apenas puede uno abrir un volumen de cualquier revista de psicología sin encontrarse un artículo sobre el tema. Como no podría ser de otra forma, la idea se ha abierto camino rápidamente en la cultura popular y muy especialmente en el mundo de la educación. Los medios de comunicación también se han hecho eco de esta idea, con, por ejemplo, “¿Por qué los bilingües son más inteligentes?” (La Vanguardia, 2012), “El bilingüísmo mejora la atención” (El País, 2007) o “El bilingüismo protege el cerebro” (El Mundo, 2014). Continúa leyendo en Rasgo Latente

¿Quién es feliz en Londres?

No, no se asusten. No me ha dado un ataque de melancolía. Mamá, estoy bien. Casualmente acabo de encontrarme con un artículo recién publicado en PNAS cuyos autores utilizan la ciudad de Londres más o menos como los biólogos usan esos terrarios gigantes para estudiar el comportamiento de hormigas, termitas y bichos dispares. Cualquiera que haya tenido que salir de su barrio alguna vez en la vida se habrá percatado de que cada zona geográfica tiene un carácter diferente, marcado por la personalidad de quienes viven allí, su nivel socioeconómico y hasta la geología y el clima del lugar. Lógicamente algunos de estos lugares se ajustan más a nuestras peculiaridades que otros, y no es extraño que cada uno de nosotros aspire a vivir en determinado lugar para ser más feliz. ¿Pero exactamente cómo se relacionan nuestra personalidad, el carácter del lugar que habitamos y la felicidad? Qué mejor lugar para responder a esta pregunta que Londres, donde en un puñado de kilómetros cuadrados conviven las personas más diversas en los barrios más heterogéneos. Apenas unos metros separan el bullicioso mercado de Camden del sosegado Hampstead. Y en cualquier local de comida rápida se puede ver compartir mesa a los más despiadados ejecutivos de la City con los futuros reclutas del estado islámico.

El estudio que firman Markus Jokela y colaboradores se basa en una metodología sencilla pero ingeniosa. Pidieron a nada menos que 52.000 vecinos del área metropolitana de Londres que rellenaran un cuestionario diseñado para medir los cinco factores de personalidad (los famosos Big Five: apertura a la experiencia, responsabilidad, extroversión, amabilidad y neuroticismo) y otro pequeño cuestionario para medir la satisfacción con la vida en general. Dentro de cada distrito postal hicieron una regresión múltiple para predecir la satisfacción vital a partir de las puntuaciones en los cinco factores de personalidad. Como te puedes imaginar, los resultados de estas regresiones no fueron idénticos en todos los distritos: algunas características de personalidad resultaron ser buenas predictoras de la satisfacción en todos los distritos, pero otras características correlacionaban con la satisfacción sólo en algunos lugares. La pregunta que los autores se hicieron es ¿qué aspectos de un distrito hacen que un factor de personalidad contribuya más o menos a la felicidad de sus habitantes?

Los resultados muestran que hay dos factores de personalidad que correlacionan con la felicidad de forma generalizada, independientemente del lugar en que uno viva. Se trata de los factores extroversión y neuroticismo. Las personas extrovertidas y emocionalmente estables tienden a ser más felices y más o menos en el mismo grado en cualquier lugar de Londres. Sin embargo, el resto de factores contribuye más o menos a tu felicidad según dónde vivas. Si vives en el centro de Londres, rodeado de personas de todas las nacionalidades y de las gastronomías más atrevidas (aunque en Londres todas lo son, en un sentido u otro), tu felicidad dependerá en buena medida de si eres una persona abierta a la experiencia o no. Interesante, pero ninguna sorpresa hasta aquí: Básicamente, las personas abiertas a la experiencia son más felices donde viven otras personas abiertas a la experiencia. Lo interesante es que los otros dos factores de personalidad no funcionan de esta manera. La amabilidad y la responsabilidad son buenos predictores de la felicidad en los barrios en los que la felicidad escasea y las condiciones de vida son menos favorables. De hecho, la responsabilidad correlaciona con la felicidad (y esto es lo interesante) en los distritos donde la gente tiende a puntuar bajo en responsabilidad. O, en otras palabras, en el país de los ciegos el tuerto es el rey.

Según los autores, estos resultados confirman las predicciones de un modelo en el que algunos factores de personalidad (como la extroversión y el neuroticismo) están asociados directamente con la felicidad, mientras que otros factores (como la responsabilidad y la amabilidad) están asociados con la felicidad por su valor instrumental. Es decir, mientras que la extroversión y el neuroticismo son en sí mismas fuentes de felicidad, la responsabilidad y la amabilidad son útiles como medio para conseguir otras cosas que son a su vez fuente de felicidad. El grado en que estas “habilidades” son necesarias depende en gran medida de las condiciones más o menos favorables en las que nos haya tocado vivir, lo que explicaría que su contribución neta a la felicidad dependa de las circunstancias.

Una de las principales limitaciones del estudio es que nos dice poco o nada sobre qué hace felices a las personas en otros barrios de Bilbao. Pero, en fin, nadie es perfecto.

__________

Jokela, M., Bleidorn, W., Lamb, M. E., Gosling, S. D., & Rentfrow, P. J. (2015). Geographically varying associations between personality and life satisfaction in the London metropolitan area. Proceedings of the National Academy of Sciences, 112, 725-730.

El fabuloso método Doman

Debió ser Chesterton quien dijo que lo malo de que las personas dejen de creer en Dios no es que dejen de creer en todo, sino que empiecen a creer en cualquier cosa. No se me ocurre una analogía mejor para entender los cambios más recientes en el mundo de la educación. Casi todo el mundo está de acuerdo en que la escuela tiene que cambiar. En el siglo XXI ya no nos vale aquello de aprender la lista de los reyes godos y afortunadamente también podemos darle carpetazo a la “formación político-social para niños” y a la “higiene para niñas”. Queremos algo mejor para las generaciones que nos sigan. Pero ahí es donde termina el acuerdo. Tan pronto como nos ponemos a discutir cómo debería ser la nueva educación, el consenso desaparece. O peor aún, el vacío que deja la educación tradicional se llena con todo tipo de ideas felices que son abiertamente peores que lo que hacíamos.

Entre las modas pseudocientíficas más pintorescas que pueblan el panorama escolar del siglo XXI, una de las que más me preocupan es el movimiento educativo liderado por Glenn Doman. Desconozco el impacto de sus ideas fuera de mi entorno más cercano. Pero al menos en el País Vasco no es exagerado decir que los libros de Doman se han convertido en una nueva Biblia. Si el lector tiene hijos o sobrinos en educación infantil, es muy probable que las técnicas que voy a describir más abajo se hayan usado con ellos. El manual de referencia para entender estas prácticas es el best-seller Cómo multiplicar la inteligencia de su bebé. En este libro (y en sus numerosas precuelas y secuelas) Glenn Doman describe un método sencillo y prodigioso para enseñar habilidades lectoras y matemáticas a niños de tan sólo meses de edad. Según dice el autor, se basa “en muchos años de trabajo por parte de un gran equipo de expertos en el desarrollo del cerebro infantil, que habían estudiado el desarrollo y funcionamiento del cerebro humano” (p. 169).

Sin entrar aún en detalles sobre las técnicas concretas, resulta interesante contemplar las creencias que albergan estos “expertos”. Si habías oído hablar del mito de que sólo usamos el 10% del cerebro y querías más, estás de enhorabuena, porque en este libro encontrarás el mito del 1 por 1000. En palabras del autor, “no es cierto que sólo utilicemos una décima parte  de nuestro cerebro. No vivimos lo suficiente para utilizar una milésima parte de la capacidad de nuestro cerebro. Es posible que Leonardo da Vinci llegase a usar casi una milésima parte de la capacidad de su cerebro: Por eso fue Leonardo da Vinci” (p. 112). Al parecer la capacidad del cerebro es de 125.500.000.000 unidades de información. Es imposible saber de dónde procede esa cifra porque, como cualquier buena obra de ficción, el libro no contiene ninguna referencia. Cuando Glenn Doman escribió esto le debió parecer una cifra inmensa, pero seguramente estás leyendo este texto desde un ordenador cuyo disco duro hace palidecer esta cifra. Y dudo que calificaras a tu ordenador de inteligente. Pero, en fin, volvamos a lo nuestro. La cuestión es que el cerebro humano tiene una capacidad de almacenamiento pasmosa que según Glenn Doman debemos al hecho de que “sólo los seres humanos tenemos corteza cerebral” (p. 115). Interesante afirmación, viniendo de un grupo de “expertos” neurocientíficos.

Sigamos. Si la capacidad de nuestro cerebro es tan grande, ¿por qué no alcanzamos todas las personas el grado de “genios”? Acertaste: La culpa la tiene la educación que recibimos, que es muy mala e ignora datos básicos sobre nuestra capacidad de aprendizaje. Una primera cosa que ignoran nuestros maestros es que sólo somos capaces de aprender hasta los seis años de edad. “Todo desarrollo significativo del cerebro ha terminado a los seis años de edad” (p. 111). “Los niños podrían estar aprendiendo en sus seis primeros años de vida tres veces más de lo que aprenderán el resto de sus vidas”. A lo mejor te preguntas de dónde vienen estas cifras (6 años, aprender 3 veces más que en el resto de sus vidas…). Te invito a que consultes las referencias inexistentes. Posiblemente se venden por separado, como las pilas que iluminan la espada de He-man.

Otra razón por la que nos han enseñado mal en la escuela es que casi todos los materiales docentes suelen escribirse con letras pequeñas. Pero el sistema visual de los niños aún no está lo suficientemente maduro como para procesar esos estímulos. Los niños sólo entienden materiales escritos (o imágenes impresas) si se presentan en formato “grande, claro y repetido” (p. 79). A juzgar por la insistencia del libro, debe ser crucial no subestimar la importancia de este punto.

Si uno entiende estos sencillos principios sobre el aprendizaje, “tratará a su hijo en esos seis años de una forma totalmente diferente a como lo haría sin comprender estos principios” (p. 88). Y logrará así resultados espectaculares. Como bien sabe el lector, el cociente intelectual medio de un adulto es 100. Pero siguiendo paso a paso los consejos de Doman es posible lograr que nuestro hijo alcance cualquier nivel de inteligencia. “Si usted lee este libro y lo entiende de verdad, y trata a su hijo de manera completamente diferente durante estos seis años fundamentales de vida… entonces debería alcanzar la capacidad propia de los seis años a los tres años de edad cronológica como máximo, y entonces tendría un CI de 200 o de más” (p. 88). Claro que no queda muy claro que significa el concepto de CI en palabras de Doman porque “las pruebas de inteligencia no miden la inteligencia” (p. 91). Para Doman, el CI debe ser una capacidad cuantificable, porque no cesa de decirle a los padres qué CI alcanzarán sus hijos. Pero no puede medirse. Interesante…

figDomanSea como fuere, una vez superadas estas lecciones sobre neurociencia y cognición, el libro continúa explicando detalladamente qué técnicas utilizar para enseñar a los niños a leer, realizar operaciones matemáticas y adquirir conocimientos enciclopédicos. Llegado a este momento tal vez estés esperando que ahora continúe describiéndote las tecnologías neuro-something más sofisticadas. Pero lo cierto es que para conseguir que tu hijo tenga un CI de 200 sólo necesitas cartulina, tijeras y rotulador. Imagina que quieres que tu hijo de 3 meses aprenda a leer la palabra “payaso”. Pues bien, sólo tienes que preparar una lámina como la que te muestro a la izquierda y presentársela brevemente a tu hijo mientas le dices en voz alta “Aquí pone payaso”. Lo más importante es que no te equivoques con las medidas y que pongas el texto en rojo porque “los niños pequeños tienen unas vías visuales inmaduras” (p. 173). También es fundamental que no le presentes las mismas láminas a tu hijo muchos días porque se aburrirá. “No aburra nunca a su hijo. Es mucho más fácil que se aburra por ir despacio que por ir demasiado deprisa”. Así que sólo hay que presentar unas pocas de estas láminas por día y siempre muy  brevemente: “no se la deje ver más de un segundo” (p. 176).

El libro prosigue ampliando el mismo método para enseñar matemáticas y conocimientos generales. Sin entrar en detalles, la idea es tan sencilla como presentar una cartulina con, por ejemplo, 15 puntos y decirle al niño “15”. O bien presentar un dibujo de dos puntos seguidos de un “x”, seguido de tres puntos, seguidos de un “=” seguido de seis puntos. Así sucesivamente ¿hasta cuándo? Hasta donde quieras. “Un día, cuando se dispone alegremente a enseñar a su hijo cálculo infinitesimal o física nuclear, se da cuenta de lo que está haciendo y su propio arrojo la sorprende” (p. 228). No creas que para llegar a estos niveles es necesario esperar a que el niño sea muy mayor. En realidad se puede empezar en cualquier momento, siempre que no hayan pasado los seis primeros años, tras los cuales el niño estará condenado irremediablemente a la mediocridad. “Usted puede empezar el proceso de enseñar a su bebé desde el mismo nacimiento”.

Si yo fuera el padre de una criatura con la que fueran a utilizar estos métodos revolucionarios, lo primero que les preguntaría a los profesores es que me enseñaran la evidencia que muestra que estas estrategias sirven para algo. En el libro de Doman no podemos encontrar nada que sugiera que estos métodos se basan en ninguna evidencia seria. Por supuesto, Doman alude constantemente a su experiencia personal como prueba de la eficacia de sus métodos. El equivalente profesional del “a mí me funciona”. Al ciudadano de a pie tal vez esto le sirva para dormir tranquilo creyendo que su hijo está aprendiendo a leer con los mejores métodos. Pero tal vez convenga recordarle que a lo largo de la historia miles de niños y adultos han muerto por las sangrías y otras técnicas milagrosas que los médicos han estado utilizando hasta hace pocas décadas amparados en su experiencia personal. La eficacia de cualquier técnica, da igual que sea médica o docente, tiene que evaluarse mediante estudios controlados bien diseñados y con grandes muestras. El libro de Doman no nos ofrece nada parecido a esa evidencia. No sé si he dicho ya que el libro no tiene ninguna referencia que nos dirija a los estudios que avalan la eficacia de estas técnicas o la veracidad de cualquiera de sus afirmaciones. He pasado horas buceando en la Web of Science en busca de cualquier estudio que haya puesto a prueba la eficacia del método Doman y no he encontrado absolutamente nada. Si existen, deben ser los estudios mejor escondidos de la historia de la ciencia.

Pero la historia no termina aquí. El problema del método Doman no es sólo que no tenemos razones para pensar que funciona, sino que, de hecho, hay muchas razones para pensar que pueda ser perjudicial. Por ejemplo, en el caso de la enseñanza de la lectura, Doman insiste continuamente en que es crucial centrarse en enseñarle al niño a entender palabras completas y no el significado de cada una de las letras. En otras palabras, no hay que enseñar explícitamente que cada letra representa un sonido. “Las letras del abecedario no son las unidades de la lectura y de la escritura, como los sonidos aislados tampoco son las unidades de la audición ni del habla” (p. 179). A diferencia de muchas de las citas que he seleccionado más arriba, puede que al lector ésta no le parezca especialmente sospechosa. Al fin y al cabo, en muchos colegios se está poniendo de moda enseñar a los niños a leer palabras completas antes de enseñarles el abecedario o la mera idea de que las letras representan sonidos. Sin embargo, es difícil exagerar lo dañina que es esta práctica. En el mundo de la educación son pocas las cosas que se saben a ciencia cierta, pero los datos de que disponemos dejan poco lugar a dudas de que este método de enseñanza es peor que el método tradicional en el que al niño se le enseña explícitamente qué fonemas representa cada letra. Sí, aquello de la b con la a “ba”. Que multitud de escuelas se apunten a la moda de no enseñar estas sencillas reglas tal vez no sea un problema para el 80-90% de los niños que aprenderán a leer sin ninguna dificultad independientemente del método que se utilice. Pero si tu hijo o sobrino es de los que por desgracia caen fuera de esta afortunada mayoría, la probabilidad de que tenga dificultades de lectura aumenta notablemente si no ha sido educado con un buen método.

En cualquier caso, lo más preocupante del auge de este tipo de métodos milagro no es si esta o aquella técnica pueden ser contraproducentes, sino la actitud general de que “todo vale” y que en educación es perfectamente legitimo sustituir las técnicas tradicionales por cualquier sucedáneo que venga en un envoltorio más trendy. Aunque la medicina ha existido durante siglos, sólo ha empezado a paliar el sufrimiento humano y a alargar nuestra esperanza de vida desde finales del siglo XIX. La diferencia fundamental entre la medicina que se practicaba antes de ese momento y la que se practica después es que, tras vencer innumerables resistencias, la comunidad de médicos finalmente aceptó que ningún tratamiento podía considerarse válido sólo porque algunos o muchos “expertos” así lo dijeran. La eficacia de cada tratamiento era algo que había que comprobar empíricamente, tomando todas las cautelas necesarias para no dejarse engañar por las falsas apariencias y los deseos bienintencionados. ¿Se imaginan cómo serían nuestras escuelas si el mundo educativo hubiera decidido seguir este mismo camino?

Cómo medir la calidad de la enseñanza universitaria

Una de las quejas más recurrentes del profesorado universitario es que el sistema académico valora más la investigación que la docencia. Este descontento no afecta sólo a los profesores individuales, sino a las universidades en su conjunto, cuya situación en los rankings de calidad suele depender no tanto de la enseñanza como de su producción científica. Quienes han tenido la desgracia de padecerme durante años saben que tiendo a atribuir estas afirmaciones más a los malos investigadores que a los buenos profesores. Pero no por ello dejo de estar de acuerdo con ellas.

El gran problema de medir la calidad de una universidad por su excelencia docente es que, a diferencia de lo que sucede con la investigación, no tenemos ninguna metodología válida para medirla y no ha habido ningún interés en desarrollarla. Lo más parecido que tenemos son las evaluaciones del profesorado que rellenan los estudiantes al terminar cada asignatura y que muy de vez en cuando tienen algún peso en la contratación de profesores o en su ascenso. ¿Sirven estas evaluaciones para medir la calidad de un profesor? Todo sugiere que no, o al menos eso es lo que se desprende de un estudio reciente de Michaela Braga, Marco Paccagnella y Michele Pellizzari. Este estudio aprovecha que en la universidad de la primera autora existen asignaturas que son impartidas por varios profesores. La asignación de los estudiantes a cada uno de los profesores es totalmente aleatoria. Eso les permite explorar cómo la experiencia de haber recibido clases de un profesor u otro influye en el rendimiento futuro de cada estudiante. La idea es que si un profesor es bueno, los estudiantes que hayan aprendido con él tendrán un mejor rendimiento durante los años siguientes que los estudiantes que no hayan pasado por sus manos.

Los resultados del estudio muestran que, cuando la calidad de un profesor se mide de esta manera, las puntuaciones resultantes correlacionan negativamente con las evaluaciones de satisfacción que hacen los estudiantes al terminar la asignatura. En otras palabras, los profesores que dejan mejor huella en sus alumnos tienden también a dejarlos más insatisfechos. Los datos sugieren que esta correlación negativa se debe sobre todo a los peores estudiantes, ya que no está presente en las aulas donde predominan los buenos estudiantes.

Lo que sí que correlaciona positivamente con las encuestas de satisfacción son las notas que reciben los alumnos. Si un profesor pone buenas notas, entonces los estudiantes le dan una mejor puntuación en las encuestas de satisfacción. Todo sugiere que lo que están midiendo estas encuestas no es la calidad de la docencia, sino simplemente la cantidad de esfuerzo que un profesor les exige a sus alumnos. De hecho, se trata de una medida tan mala, que los autores del estudio han llegado a encontrar una relación entre el tiempo que hace el día en que se rellena la encuesta y los resultados de la misma. Los alumnos dan mejores puntuaciones a sus profesores si hace sol que si llueve.

No sé qué conclusiones puede extraer un alumno de estos datos, pero sí creo que nos permiten darles algunos consejos a los profesores universitarios que quieran aspirar a la excelencia. Primero, intenta que tu asignatura se imparta durante la primavera para que la evaluación coincida con los primeros días del verano. Y segundo, tus evaluaciones serán mucho mejores si en plena clase de Psicología de la Personalidad les pones a tus alumnos dos horas de Buscando a Nemo o en su defecto cualquier película recomendada para niños menores de 4 años.

__________

Braga, M., Paccagnella, M., & Pellizzari, M. (2014). Evaluating students’ evaluations of professors. Economics of Education Review, 41, 71-88.