Cognitive biases, error management theory, and the reproducibility of research findings

The human mind is the end product of hundreds of thousands of years of relentless natural selection. You would expect that such an exquisite piece of software should be capable of representing reality in an accurate and objective manner. Yet decades of research in cognitive science show that we fall prey to all sorts of cognitive biases and that we systematically distort the information we receive. Is this the best evolution can achieve? A moment’s thought reveals that the final goal of evolution is not to develop organisms with exceptionally accurate representations of the environment, but to design organisms good at surviving and reproducing. And survival is not necessarily about being rational, accurate, or precise. The target goal is actually to avoid making mistakes with fatal consequences, even if the means to achieve this is to bias and distort our perception of reality. Read the post in Imperfect Cognitions.

Advertisements

Cómo enseñar el pensamiento crítico: El valor de la investigación básica

Se cuenta que cuando la reina Victoria y los miembros del gobierno británico visitaron el laboratorio de Michael Faraday lo primero que le preguntaron es para qué servían todos aquellos aparatos y experimentos. La respuesta de Faraday es ya legendaria: “¿Para qué sirve un niño, madame?”. Pero a pesar de su genialidad, imagino que esta pregunta de poco o nada sirvió para cambiar la actitud de la reina, que posiblemente abandonó la sala con el mismo interés por la ciencia que tenía al entrar en ella. Seguramente, en aquel momento nadie habría podido convencerla de que en un futuro no tan lejano las personas apenas podrían vivir cinco minutos sin pulsar un interruptor.

Aunque ha pasado más de un siglo, quienes nos dedicamos a la investigación básica aún nos enfrentamos casi a diario a las críticas de quienes, como la reina Victoria, no tienen ningún interés en la ciencia básica ni entienden que se utilice dinero público para financiar un tipo de investigación que no tiene por objetivo directo solucionar ningún problema real o tener un impacto en la vida cotidiana. En algunos ámbitos, como el de la psicología, a menudo somos vistos como bichos raros por parte de quienes dicen investigar, qué sé yo, cómo se adaptan los niños al divorcio de los padres o cuál es la mejor estrategia para dejar de fumar. Tampoco es mejor la actitud de las instituciones que financian la investigación (o solían hacerlo hasta hace tres años), con su permanente insistencia en que cualquier proyecto de investigación debe incluir un apartado sobre posibles aplicaciones, incluso si se trata de un proyecto de investigación básica.

Sin embargo, la realidad nos muestra una y otra vez que las ideas que mayor impacto llegan a tener en la vida cotidiana son precisamente las que surgen de la investigación básica. ¿Alguien se imagina a Watson y Crick pensando en la insulina transgénica mientras descifraban el código de la vida? ¿O a Turing pensando en cómo serían los sistemas operativos de los smartphones? Un estudio reciente de mis compañeros de Labpsico muestra que lo que vale para la genética y la informática también se aplica a la psicología.

Los psicólogos de la memoria, el aprendizaje y el razonamiento llevamos décadas indagando en los procesos cognitivos que nos permiten descubrir patrones en nuestro entorno, almacenar esa información y utilizarla cuando una situación así lo requiere. Casi nada de esa investigación se realiza con el propósito expreso de ayudar a la gente a solucionar sus problemas cotidianos. Sin embargo, a lo largo del camino inevitablemente se van descubriendo hechos que nos ayudan a entender por qué las personas tenemos ciertos problemas y qué se puede hacer para solucionarlos. Un ejemplo perfecto es la literatura sobre supersticiones y sesgos cognitivos. Gracias a cientos de experimentos sabemos que existen situaciones que invitan a casi cualquier persona a razonar de forma errónea, independientemente de su formación, cultura o inteligencia.

Partiendo de esta literatura, Itxaso Barbería, Fernando Blanco, Carmelo Cubillas y Helena Matute han diseñado un programa de intervención que pretende dotar a los niños y adolescentes del escepticismo necesario para no caer en las supersticiones más frecuentes en nuestra sociedad. Yo mismo tuve la suerte de colaborar en un par de sesiones y ser testigo de sus asombrosos resultados. La investigación básica revela que varios mecanismos están involucrados en el desarrollo de este tipo de creencias supersticiosas. Uno de ellos es la insensibilidad a la tasa base con la que suceden ciertos eventos. Por ejemplo, si todas las veces que tenemos un catarro tomamos un remedio homeopático y si siempre que así lo hacemos mejoramos al día siguiente, es tentador pensar que ese remedio es el responsable de la mejoría. Pero la pregunta es: ¿qué habría pasado si no lo hubiéramos tomado? A menudo o no disponemos de esa información (porque si creemos que la homeopatía funciona entonces no probamos a no tomarla) o si la tenemos, la ignoramos.

En la intervención diseñada por Barbería y colaboradores, a los niños se les confrontaba directamente con una situación de este tipo con la esperanza de que cayeran en el error. Imitando al marketing de las famosas pulseras Power Balance, se les decía que estudios recientes habían demostrado que una sustancia con propiedades electromagnéticas peculiares podía aumentar el rendimiento cognitivo y físico. A los niños se les invitaba a realizar diversos ejercicios de fuerza y flexibilidad mientras cogían una pequeña pieza de esa sustancia con la mano. También se les pedía que hicieran ejercicios mentales (por ejemplo, resolver laberintos) mientras sostenían la barrita metálica. Posteriormente, se les preguntaba si les había parecido que la pieza funcionaba. Aunque algunos eran un poco más escépticos, la mayor parte de ellos confesaba que sí. Algunos incluso habrían estado dispuestos a pagar por ella. Sin embargo, era imposible que esa pieza metálica estuviera teniendo ningún efecto. Las piezas estaban sacadas en realidad del motor de un secador de pelo.

A los niños se les confesaba abiertamente que acababan de ser víctimas de un engaño y a continuación se les explicaba por qué muchos de ellos no habían caído en la cuenta. En concreto, se les señalaba que para saber si las piezas tenían algún efecto habría sido fundamental contar con una condición de control: tendrían que haber hecho los ejercicios con y sin la ayuda de la barra metálica y haber comparado su nivel de ejecución en ambas condiciones. Si hubieran hecho los ejercicios sin la barra habrían comprobado cómo en realidad lo hacían igual de bien en ambos casos. También se les aclaraba que no cualquier comparación servía: la condición de control y la “experimental” debían ser exactamente iguales. Eso quiere decir que, por ejemplo, no servía con hacer los ejercicios físicos primero sin la barra metálica y luego con ella, siempre en ese orden, porque en tal caso la mera práctica hace que el rendimiento físico sea mayor con la barra (es decir, cuando ya se tiene cierta práctica) que sin ella (cuando aún no se tiene ninguna práctica).

Lo más interesante del experimento es que tras esta explicación, todos los niños se sometían a una preparación experimental que se sabe que induce cierta ilusión de causalidad. Se trata de un procedimiento en el que los participantes tienen que imaginar que son médicos explorando la evidencia a favor y en contra de la eficacia de un medicamento. Aunque a los participantes no se les avisa de ello, la información que se les presenta sugiere que la medicina no es efectiva. Sin embargo muchas personas caen en el error de pensar que sí lo es. Los resultados de Barbería y colaboradores muestran que los niños que pasaron por este curso de pensamiento crítico luego fueron menos susceptibles a mostrar ilusión de causalidad en esta prueba experimental que otro grupo de niños similar que aún no había pasado por el curso. Por tanto, todo sugiere que esta intervención hizo a los niños más resistentes al tipo de ilusiones causales que se cree que subyacen al pensamiento mágico y supersticioso.

A nadie se le escapa que los resultados de esta investigación tienen un potencial enorme en el sistema educativo actual. Se insiste con frecuencia en que los niños deberían salir del colegio con algo más que un montón de conocimientos enciclopédicos; que deberían convertirse en adultos capaces de pensar críticamente por sí mismos. Sin embargo, hay muy pocos estudios como este que nos indiquen cómo se pueden desarrollar el escepticismo y la actitud científica. A las reinas victorianas de la psicología aplicada tal vez les cause cierto asombro que una vez más las respuestas lleguen del mundo de la investigación básica.

__________

Barbería, I., Blanco, F., Cubillas, C. P., & Matute, H. (2013). Implementation and assessment of an intervention to debias adolescents against causal illusions. PLoS ONE, 8, e71303. doi:10.1371/journal.pone.0071303

La función de la magia

La mayor parte de la literatura psicológica sobre la superstición y las ilusiones de control se ha centrado tradicionalmente en resaltar sus aspectos más positivos sobre nuestra salud. Nada más humano que intentar protegerse de la sensación de indefensión que produce saberse víctima de fuerzas que están más allá de nuestro control. Décadas antes de que los psicólogos abrazaran esta visión, Malinowsky nos brindaba en las últimas líneas de su ensayo Magia, ciencia y religión la descripción más bella de esta idea:

¿Cuál es la función cultural de la magia? Hemos visto que todos los instintos y emociones, todas las actividades prácticas conducen al hombre a atolladeros en donde las lagunas de su conocimiento y las limitaciones de su temprano poder de observar y razonar le traicionan en los momentos cruciales. El organismo humano reacciona ante esto por medio de espontáneos estallidos en los que los modos rudimentarios de conducta y las creencias rudimentarias en su eficiencia resultan inventados. La magia se fija sobre esas creencias y ritos rudimentarios y los regula en formas permanentes y tradicionales. La magia le proporciona al hombre primitivo actos y creencias ya elaboradas, con una técnica mental y una práctica definidas que sirven para salvar los abismos peligrosos que se abren en todo afán importante o situación crítica. Le capacita para llevar a efecto sus tareas importantes en confianza, para que mantenga su presencia de ánimo y su integridad mental en momentos de cólera, en el dolor del odio, del amor no correspondido, de la desesperación y de la angustia. La función de la magia consiste en ritualizar el optimismo del hombre, en acrecentar su fe en la victoria de la esperanza sobre el miedo. La magia expresa el mayor valor que, frente a la duda, confiere el hombre a la confianza, a la resolución frente a la vacilación, al optimismo frente al pesimismo.

Visto desde lejos y por encima, desde los elevados lugares de seguridad de nuestra civilización evolucionada, es fácil ver todo lo que la magia tiene de tosco y de vano. Pero sin su poder y guía no le habría sido posible al primer hombre el dominar sus dificultades prácticas como las ha dominado, ni tampoco habría podido la raza humana ascender a los estadios superiores de la cultura. De aquí la presencia universal de la magia en las sociedades primitivas y su enorme poder. De aquí también que hallemos a la magia como invariable aditamento de todas las actividades importantes. Creo que hemos de ver en ella la incorporación de esa sublime locura de la esperanza que ha sido la mejor escuela del carácter del hombre. (Malinowski, 1948/1985, pp. 101-102)

__________

Malinowski, B. (1948/1985). Magia, ciencia y religión. Barcelona: Planeta-De Agostini.

No hay mal que cien años dure

Buceando entre las referencias de Bad Science, el excelente libro de Ben Goldacre, me he topado con un magnífico estudio sobre ilusión de control publicado por Schaffner en el volumen de 1985 del Journal of Personality and Social Psychology. En este experimento, los participantes tenían que hacer las veces de un profesor de escuela que debía enseñar a sus alumnos a no llegar tarde a clase. Para ello cada día podían observar en la pantalla de un ordenador a qué hora había llegado un niño y decidir si suministrarle un premio, un castigo o no decirle nada. En realidad, la hora a la que llegaban los niños no dependía en absoluto de lo que hiciera el participante: se limitaba a oscilar al azar de un día a otro. Sin embargo, lo curioso es que esto no impedía que los participantes pensaran que sí ejercían cierto control. No sólo pensaban que estaban influyendo en la conducta de los niños sino que además desarrollaban creencias más específicas sobre cómo ejercer mejor ese control: les parecía que los castigos habían sido más efectivos que los premios a la hora de modificar la conducta de los niños. Este sesgo de preferencia hacia el castigo puede parecer extraño, pero resulta sencillo entenderlo si uno tiene en cuenta una propiedad importante de los procesos sometidos al azar, la regresión a la media.

Imagina que en un examen de matemáticas un estudiante saca un 9. Si tuvieras que apostar qué nota va a sacar en el examen siguiente, ¿dirías que va a sacar una nota más alta o más baja? La apuesta más sensata es que la siguiente nota estará más cerca de la media de la clase y, por tanto, será más baja. Es muy posible que el estudiante sea excepcionalmente bueno y merezca ese sobresaliente. Pero también es muy probable que se trate de un alumno no tan bueno que ha sido favorecido por la suerte. ¿Cuál de estas dos cosas es más probable? Bueno, por definición es más probable ser normal que ser excepcional; así que salvo que tengamos más información, lo primero parece más plausible. De modo que si al menos parte de ese 9 se debe al azar, es poco probable que esa suerte siga favoreciendo sistemáticamente al alumno en los siguientes exámenes en la misma medida. Si hay que apostar, es más seguro pensar que puntuará más bajo la siguiente vez. Lo mismo se aplicaría a un estudiante que saca una nota sorprendentemente baja en un examen. Si hubiera que apostar, lo más probable es que en el siguiente examen saque más nota. En otras palabras, las puntuaciones que se alejan de la media son excepcionales y lo más probable es que con el tiempo vuelvan al promedio.

¿Qué tiene esto que ver con el experimento anterior sobre ilusión de control? Veamos. Si la hora a la que llegan los niños tenía un componente aleatorio, habría momentos en los que los niños tenderían a ser más puntuales (por simple azar) y momentos en los que tenderían a llegar más tarde (también por simple azar). Ahora bien, tras una racha de días en los que un niño ha sido más puntual de lo normal, lo más probable es que vuelva a llegar tarde (por regresión a la media), y tras una racha de días en los que ha sido excepcionalmente tardón, lo más probable es que empiece a ser más puntual. Si lo que intentas es que el niño sea cada vez más puntual suministrando premios cuando lo hace bien, te encontrarás con que la estrategia sencillamente no funciona: tras una buena racha y un montón de premios, la conducta del niño tenderá a volver a la media, empeorando sin remedio. Sin embargo, si el niño ha llegado tarde unos cuantos días y comienzas a castigarle, lo más probable es que su conducta posterior vuelva a la media, lo que en este caso sería una mejoría. Eso te produciría la falsa sensación de que los castigos han sido efectivos a la hora de corregir la mala conducta, mientras que los premios han sido poco efectivos.

Este sencillo ejemplo es particularmente interesante porque a menudo se ha aducido que nuestra incapacidad para comprender el concepto de regresión a la media es la fuente de muchas supersticiones que mantenemos en nuestra vida cotidiana, a veces con importantes consecuencias sociales. En general, si un proceso depende completamente del azar, cualquier intento de mantener una situación excepcionalmente positiva se verá abocado al fracaso, mientras que por el contrario los intentos de corregir una situación excepcionalmente negativa parecerán (pero sólo ilusoriamente) ser más fructíferos. Unos pocos ejemplos nos permitirán ver cómo puede esto provocar errores en nuestras atribuciones causales.

Suele decirse que las medicinas alternativas parecen efectivas por el simple efecto placebo. Pero la regresión a la media interviene igualmente en producir cierta sensación de eficacia. Muchas enfermedades crónicas se caracterizan porque su intensidad varía constantemente debido al azar. A las temporadas de mayor malestar muchas veces les suceden buenas rachas sin motivo aparente o al menos sin motivos conocidos. Teniendo esto en cuenta, si recurrimos a cualquier remedio cuando peor nos sentimos, lo más probable es que luego nos sintamos mejor. No porque el remedio haya funcionado, sino porque después de una temporada especialmente mala lo más habitual es que la enfermedad nos dé una tregua.

Esta es una de las razones por las que cuando se pone a prueba la eficacia de una medicina necesitamos utilizar un grupo de control que no tome la medicina real. Los pacientes que se someten a un tratamiento experimental, lo hacen muchas veces tras pasar por una temporada en la que la enfermedad ha sido especialmente dura. Cualquier mejoría de estos pacientes podría deberse simplemente al curso natural de la enfermedad. Por tanto, no basta con saber que han mejorado tras someterse al tratamiento experimental. Hace falta un grupo de referencia donde ese curso natural sea equivalente para poder hacer comparaciones y ver cuánto de la mejoría se debe al azar y cuánto a la efectividad de la medicina que se está probando.

El principio de regresión a la media también es relevante cuando se trata de evaluar el impacto de intervenciones políticas y económicas. No hay prácticamente ninguna variable macroeconómica o social cuyo comportamiento no esté altamente influido por el azar. Las cotizaciones en bolsa, la evolución del PIB, incluso las cifras del paro tienen que ver con las políticas económicas, pero también tienen un importante componente de aleatoriedad. Esto implica que con frecuencia se sucederán rachas inusualmente positivas y rachas inusualmente negativas por simple azar. Sin embargo, siempre que las cosas empeoran, nuestra tendencia es hacer algo al respecto. Buscamos culpables, le pedimos al gobierno que haga algo, y si lo que hace no nos gusta o parece no funcionar, directamente lo cambiamos en las siguientes elecciones. En algún momento, tarde o temprano, las cosas mejoran, precisamente porque ese componente aleatorio no puede alimentar sistemática y perpetuamente la crisis. Cuando ese momento llega, es tentador pensar que lo último que hemos hecho ha sido lo que ha solucionado el problema. Pero no nos engañemos. En muchas ocasiones lo que nos saca de una crisis es exactamente lo mismo que nos mete en ella: el simple azar.

__________

Schaffner, P. E. (1985). Specious learning about reward and punishment. Journal of Personality and Social Psychology, 48, 1377-1386.