Ruidos, señales y overfitting

natesilverAunque llevaba meses deseando hacerme con un ejemplar del último libro de Nate Silver, The signal and the noise: The art and science of prediction, confieso que el primer contacto no me pareció muy alentador. Nada más mirar la foto del autor en la contraportada tuve la sensación de que alguien me susurraba al oído “perrea, perrea”. La cosa no mejoró cuando leí los primeros capítulos y descubrí que los temas que Silver había elegido para presentar su tesis eran de esos que despiertan un interés inversamente proporcional a la distancia que te separa de Oklahoma. El relato transcurre entre ligas de béisbol, elecciones a la presidencia de EE.UU., partidas de póker y otras pamplinas que posiblemente hagan la delicia del norteamericano medio, pero carecen de adeptos a este lado del charco.

Y sin embargo, el libro es una buenísima introducción a los problemas a los que se enfrenta cualquiera que quiera entender un sistema dinámico complejo y predecir su evolución. Entre otras cosas, el libro contiene la mejor explicación que conozco del concepto de overfitting. Si el lector no se ha encontrado nunca con esta palabreja, posiblemente creerá que el overfitting es el trastorno psiquiátrico que sufren las personas que van todos los días al gimnasio. Pero en realidad se trata de un concepto estadístico relacionado con cómo se ajusta un modelo a la realidad que pretende explicar y predecir. En principio, si uno desarrolla una teoría para explicar algo, cabría pensar que cuanto más se ajuste la teoría a los hechos, tanto mejor será la teoría. Pero en realidad puede suceder lo contrario: que una teoría sea mala precisamente porque se ajusta demasiado a los datos. Es entonces cuando decimos que el modelo tiene overfitting o sobreajuste. Veámoslo con el ejemplo que nos da el propio Nate Silver.

FiguraModelosImagina que queremos saber cómo evoluciona la calidad de un jugador de béisbol a medida que se va haciendo mayor. Lo primero que tenemos que hacer es recoger datos. Tras hacer algunas mediciones aquí y allá conseguimos la información que tenemos en el panel A. La forma más sencilla de explicar este patrón de resultados es asumir que la calidad de un jugador se incrementa progresivamente a medida que se va haciendo mayor hasta que llega un momento en el que la tendencia comienza a invertirse. Este modelo, al que llamaré Modelo 1, es el que aparece en el panel B. Como puede verse, el modelo no se ajusta a los datos a la perfección. De lo contrario todos los circulitos deberían estar exactamente en la línea. Sin embargo, el ajuste del modelo es aceptable. ¿Es posible diseñar un modelo con un ajuste todavía mejor? Por supuesto, el panel C muestra una línea alternativa que pasa mucho más cerca de todos los puntos. Llamemos a esta línea Modelo 2. La distancia media entre la línea y cada observación es menor para el Modelo 2 que para el Modelo 1. Ahora bien, ¿quiere eso decir que es un modelo mejor?

Tal vez no. El objetivo de una buena teoría no es sólo ajustarse bien a la evidencia que ya tenemos, sino también predecir los datos que podríamos observar en el futuro. Imagina que recabamos información sobre otros jugadores y que los circulitos verdes del panel D representan los resultados de estas nuevas observaciones. Estos datos siguen estando relativamente cerca de lo que predecía el Modelo 1. Sin embargo, el Modelo 2, que originalmente parecía ajustarse muy bien a los datos, ya no coincide de forma tan elegante con las nuevas observaciones.

En la terminología de Nate Silver, lo que le pasa al Modelo 2 es que no sólo trata de explicar la señal de la relación entre la edad y la calidad de un jugador, sino también el ruido aleatorio que inevitablemente contamina los datos. El modelo está tan ajustado a las observaciones que explica incluso lo que no debería explicar: la varianza que se debe al puro azar.

Cómo enseñar el pensamiento crítico: El valor de la investigación básica

Se cuenta que cuando la reina Victoria y los miembros del gobierno británico visitaron el laboratorio de Michael Faraday lo primero que le preguntaron es para qué servían todos aquellos aparatos y experimentos. La respuesta de Faraday es ya legendaria: “¿Para qué sirve un niño, madame?”. Pero a pesar de su genialidad, imagino que esta pregunta de poco o nada sirvió para cambiar la actitud de la reina, que posiblemente abandonó la sala con el mismo interés por la ciencia que tenía al entrar en ella. Seguramente, en aquel momento nadie habría podido convencerla de que en un futuro no tan lejano las personas apenas podrían vivir cinco minutos sin pulsar un interruptor.

Aunque ha pasado más de un siglo, quienes nos dedicamos a la investigación básica aún nos enfrentamos casi a diario a las críticas de quienes, como la reina Victoria, no tienen ningún interés en la ciencia básica ni entienden que se utilice dinero público para financiar un tipo de investigación que no tiene por objetivo directo solucionar ningún problema real o tener un impacto en la vida cotidiana. En algunos ámbitos, como el de la psicología, a menudo somos vistos como bichos raros por parte de quienes dicen investigar, qué sé yo, cómo se adaptan los niños al divorcio de los padres o cuál es la mejor estrategia para dejar de fumar. Tampoco es mejor la actitud de las instituciones que financian la investigación (o solían hacerlo hasta hace tres años), con su permanente insistencia en que cualquier proyecto de investigación debe incluir un apartado sobre posibles aplicaciones, incluso si se trata de un proyecto de investigación básica.

Sin embargo, la realidad nos muestra una y otra vez que las ideas que mayor impacto llegan a tener en la vida cotidiana son precisamente las que surgen de la investigación básica. ¿Alguien se imagina a Watson y Crick pensando en la insulina transgénica mientras descifraban el código de la vida? ¿O a Turing pensando en cómo serían los sistemas operativos de los smartphones? Un estudio reciente de mis compañeros de Labpsico muestra que lo que vale para la genética y la informática también se aplica a la psicología.

Los psicólogos de la memoria, el aprendizaje y el razonamiento llevamos décadas indagando en los procesos cognitivos que nos permiten descubrir patrones en nuestro entorno, almacenar esa información y utilizarla cuando una situación así lo requiere. Casi nada de esa investigación se realiza con el propósito expreso de ayudar a la gente a solucionar sus problemas cotidianos. Sin embargo, a lo largo del camino inevitablemente se van descubriendo hechos que nos ayudan a entender por qué las personas tenemos ciertos problemas y qué se puede hacer para solucionarlos. Un ejemplo perfecto es la literatura sobre supersticiones y sesgos cognitivos. Gracias a cientos de experimentos sabemos que existen situaciones que invitan a casi cualquier persona a razonar de forma errónea, independientemente de su formación, cultura o inteligencia.

Partiendo de esta literatura, Itxaso Barbería, Fernando Blanco, Carmelo Cubillas y Helena Matute han diseñado un programa de intervención que pretende dotar a los niños y adolescentes del escepticismo necesario para no caer en las supersticiones más frecuentes en nuestra sociedad. Yo mismo tuve la suerte de colaborar en un par de sesiones y ser testigo de sus asombrosos resultados. La investigación básica revela que varios mecanismos están involucrados en el desarrollo de este tipo de creencias supersticiosas. Uno de ellos es la insensibilidad a la tasa base con la que suceden ciertos eventos. Por ejemplo, si todas las veces que tenemos un catarro tomamos un remedio homeopático y si siempre que así lo hacemos mejoramos al día siguiente, es tentador pensar que ese remedio es el responsable de la mejoría. Pero la pregunta es: ¿qué habría pasado si no lo hubiéramos tomado? A menudo o no disponemos de esa información (porque si creemos que la homeopatía funciona entonces no probamos a no tomarla) o si la tenemos, la ignoramos.

En la intervención diseñada por Barbería y colaboradores, a los niños se les confrontaba directamente con una situación de este tipo con la esperanza de que cayeran en el error. Imitando al marketing de las famosas pulseras Power Balance, se les decía que estudios recientes habían demostrado que una sustancia con propiedades electromagnéticas peculiares podía aumentar el rendimiento cognitivo y físico. A los niños se les invitaba a realizar diversos ejercicios de fuerza y flexibilidad mientras cogían una pequeña pieza de esa sustancia con la mano. También se les pedía que hicieran ejercicios mentales (por ejemplo, resolver laberintos) mientras sostenían la barrita metálica. Posteriormente, se les preguntaba si les había parecido que la pieza funcionaba. Aunque algunos eran un poco más escépticos, la mayor parte de ellos confesaba que sí. Algunos incluso habrían estado dispuestos a pagar por ella. Sin embargo, era imposible que esa pieza metálica estuviera teniendo ningún efecto. Las piezas estaban sacadas en realidad del motor de un secador de pelo.

A los niños se les confesaba abiertamente que acababan de ser víctimas de un engaño y a continuación se les explicaba por qué muchos de ellos no habían caído en la cuenta. En concreto, se les señalaba que para saber si las piezas tenían algún efecto habría sido fundamental contar con una condición de control: tendrían que haber hecho los ejercicios con y sin la ayuda de la barra metálica y haber comparado su nivel de ejecución en ambas condiciones. Si hubieran hecho los ejercicios sin la barra habrían comprobado cómo en realidad lo hacían igual de bien en ambos casos. También se les aclaraba que no cualquier comparación servía: la condición de control y la “experimental” debían ser exactamente iguales. Eso quiere decir que, por ejemplo, no servía con hacer los ejercicios físicos primero sin la barra metálica y luego con ella, siempre en ese orden, porque en tal caso la mera práctica hace que el rendimiento físico sea mayor con la barra (es decir, cuando ya se tiene cierta práctica) que sin ella (cuando aún no se tiene ninguna práctica).

Lo más interesante del experimento es que tras esta explicación, todos los niños se sometían a una preparación experimental que se sabe que induce cierta ilusión de causalidad. Se trata de un procedimiento en el que los participantes tienen que imaginar que son médicos explorando la evidencia a favor y en contra de la eficacia de un medicamento. Aunque a los participantes no se les avisa de ello, la información que se les presenta sugiere que la medicina no es efectiva. Sin embargo muchas personas caen en el error de pensar que sí lo es. Los resultados de Barbería y colaboradores muestran que los niños que pasaron por este curso de pensamiento crítico luego fueron menos susceptibles a mostrar ilusión de causalidad en esta prueba experimental que otro grupo de niños similar que aún no había pasado por el curso. Por tanto, todo sugiere que esta intervención hizo a los niños más resistentes al tipo de ilusiones causales que se cree que subyacen al pensamiento mágico y supersticioso.

A nadie se le escapa que los resultados de esta investigación tienen un potencial enorme en el sistema educativo actual. Se insiste con frecuencia en que los niños deberían salir del colegio con algo más que un montón de conocimientos enciclopédicos; que deberían convertirse en adultos capaces de pensar críticamente por sí mismos. Sin embargo, hay muy pocos estudios como este que nos indiquen cómo se pueden desarrollar el escepticismo y la actitud científica. A las reinas victorianas de la psicología aplicada tal vez les cause cierto asombro que una vez más las respuestas lleguen del mundo de la investigación básica.

__________

Barbería, I., Blanco, F., Cubillas, C. P., & Matute, H. (2013). Implementation and assessment of an intervention to debias adolescents against causal illusions. PLoS ONE, 8, e71303. doi:10.1371/journal.pone.0071303