Ciegos ante la evidencia

Se han publicado decenas de artículos sobre la reticencia de los anti-vacunas o los negadores del cambio climático a aceptar la evidencia contraria a sus ideas. Casi todas las estrategias de intervención que se diseñan para luchar contra estas creencias fracasan una y otra vez. Las perspectivas de éxito resultan más desalentadoras, si cabe, cuando tenemos en cuenta que incluso las personas especializadas en cuestionar teorías y someterlas a prueba empírica son terriblemente reacias a cambiar sus ideas cuando los datos les llevan la contraria. Me refiero, cómo no, a los propios científicos.

O eso sugieren Clark Chinn y William Brewer en un sugerente artículo con el que acabo de toparme por casualidad. Según estudios previos que revisan en ese artículo, cuando los científicos se dan de bruces con un dato contrario a sus teorías, sólo ocasionalmente cambian sus creencias. En concreto, según la taxonomía de Chinn y Brewer, las ocho reacciones posibles ante la evidencia contraria son (a) ignorar los datos, (b) negar los datos, (c) excluir los datos, (d) suspender el juicio, (e) reinterpretar los datos, (f) aceptar los datos y hacer cambios periféricos en la teoría, y (g) aceptar los datos y cambiar las teorías.

Los autores utilizan un ejemplo real para ilustrar estas ocho reacciones. En la década de los 80 el premio Nobel Luis Álvarez y sus colaboradores propusieron que la extinción masiva del cretácico, en la que desaparecieron los dinosaurios, se había debido al impacto de un meteorito. El principal dato a favor de esta hipótesis era la alta concentración de iridio en el llamado límite KT, un estrato sedimentario que separaba el periodo cretácico de la era terciaria. El análisis de las citas que recibieron Álvarez y colaboradores durante los años siguientes a la publicación del artículo muestra que gran parte de la comunidad científica simplemente ignoró este descubrimiento (a). Durante algún tiempo incluso el propio equipo de Álvarez tuvo la sospecha de que los altos niveles de iridio en el límite KT podrían deberse a una contaminación de la muestra (b), lo que les obligó a tomar nuevas muestras. Algunos científicos sugirieron que los dinosaurios se habían extinguido 10.000 años antes del impacto del meteorito, con lo cual la capa de iridio no explicaba la extinción (c). Otros opinaban que la química del iridio no se conocía lo suficientemente bien como para poder extraer conclusiones (d). Tal vez algún día se podrían explicar esos altos niveles de iridio sin tener que asumir el impacto de un meteorito. Otro grupo de científicos reinterpretó los datos de Álvarez sugiriendo que el iridio del límite KT en realidad se habían filtrado de capas de sedimentos más recientes (e). También hubo quienes asumieron que el impacto del meteorito podría ser responsable de algunas de las extinciones del cretácico, pero no de todas ellas (f). Esto les permitía aceptar la evidencia encontrada por Álvarez pero sin renunciar a sus hipótesis previas sobre las causas de la extinción de los dinosaurios. Finalmente, algunos científicos renunciaron a sus hipótesis previas y aceptaron la nueva teoría sobre la extinción del cretácico (g).

No recuerdo si fue Thomas Kuhn o Max Planck quien dijo que la ciencia no evoluciona porque las teorías nuevas triunfen, sino porque quienes se oponen a ellas acaban muriéndose. Tal vez esa sea la novena y última reacción ante la evidencia contraria.

__________

Chinn, C. A., & Brewer, W. F. (1998). An empirical test of a taxonomy of responses to anomalous data in science. Journal of Research in Science Teaching, 35, 623-654.

Advertisements

Sesgos cognitivos, en Wawancara

Antonio Montesinos tuvo la amabilidad de entrevistarme para su genial revista, Wawancara. Pasamos más de una hora hablando sobre la ciencia, sobre sesgos cognitivos, y sobre todo riéndonos mucho. En algún momento creo que estuvimos cerca de arreglar los grandes problemas del mundo. Pero nos faltó eso, un poco. Puedes encontrar la entrevista aquí.

Cómo hacer que tus experimentos molen

En el último número de Perspectives on Psychological Science, Kurt Gray y el celebérrimo Dan Wegner comparten con nosotros los seis ingredientes fundamentales de su receta para el éxito:

  1. Primero los fenómenos: La teoría está bien, pero cuando te sea posible, haz que tus investigaciones se basen en una experiencia humana profunda, universal y poderosa.
  2. Sé sorprendente: Investiga algo que desafíe el sentido común y la intuición, que muestre que las cosas no son lo que parecen.
  3. Dirígete a las abuelas, no a los científicos: Desafiar las ideas que interesan a tus colegas profesionales genera cierto éxito a corto plazo. Pero es más probable que tu investigación se mantenga vigente si cuestiona las intuiciones de la población general.
  4. Sé el participante: Haz que tu experimento sea una experiencia para tus participantes. No temas que el procedimiento sea estrambótico y excéntrico.
  5. Estadística sencilla: Si puedes analizar tus datos con una prueba t, no hagas un ANOVA. Si puedes hacer un ANOVA de un factor, no hagas un ANOVA factorial.
  6. Comienzos poderosos: El primer párrafo de tu artículo debería resumir toda la investigación haciendo énfasis en todo lo anterior: centrarse en una experiencia profunda, contra-intuitiva y fácil de entender.

Si estos consejos te parecen sacados de un libro de auto-ayuda para investigadores, en mi mesa siempre habrá un plato para ti. Seguir estas pautas tal vez te lleve a conseguir más citas en la Web of Science. De vez en cuando incluso puede que te llame alguien de tu periódico local para hacerte una entrevista. Pero mi humilde opinión es que esta filosofía conduce a publicar estudios que son a la verdadera ciencia lo que Operación Triunfo es a la música. Cuando el impacto y el sensacionalismo se hacen tan importantes o más que el rigor y la veracidad, inevitablemente sucede lo que en los últimos años le ha pasado a la psicología social. Ni más ni menos.

__________

Gray, K., & Wegner, D. M. (2013). Six guidelines for interesting research. Perspectives on Psychological Science, 8, 549-553. doi: 1177/1745691613497967.

El carácter psicológico de la explicación científica

El libro que Lewandowsky y Farrel han publicado bajo el título de Computational models in cognition vale su peso en oro (y así lo cobran las librerías). Juzguen ustedes a partir de mi pobre traducción de los párrafos con los que cierran el segundo capítulo.

Hay un último atributo de las explicaciones científicas que rara vez se hace explícito: Las explicaciones son “epistémicamente valiosas sólo si podemos entenderlas, ya sea implícita o explícitamente. Como resultado de ello, una explicación debe mantener algún contacto con nuestras capacidades psicológicas de comprensión” (Trout, 2007, p. 565). Se sigue de esto que cualquier explicación científica […] necesariamente debe evaluarse también en términos psicológicos. Esta sorprendente idea tiene numerosas implicaciones.

Primero, una explicación que no puede entenderse no es una explicación. Se sigue de ello que algunos fenómenos del universo podrían permanecer siendo un misterio para los humanos de forma irremediable –no porque en principio no existan explicaciones para ellos, sino porque esas explicaciones no pueden ser entendidas humanamente y por tanto no pueden formularse (Trout, 2007). También se sigue que los modelos usados en psicología se benefician de simplificar la realidad que pretenden explicar, incluso si esa simplificación hace que el modelo sea erróneo. A riesgo de ser provocativos, nos atrevemos a proponer que los modelos son útiles precisamente porque son falsos. Esto es lo que se conoce como la paradoja de Bonini (Dutton & Starbuck, 1971), según la cual a medida que un modelo se aproxima  más a la realidad, se hace más difícil de entender. En el caso más extremo, el modelo puede ser tan difícil de entender como aquello que pretende explicar –en cuyo caso, nada se gana con él.

Segundo, cuando hay varias explicaciones potencialmente comprensibles, se puede preferir algunas de ellas sobre otras por razones que son exclusivamente psicológicas y que no tienen nada que ver con sus propiedades objetivas. En un artículo con el evocador título de “Explanation as orgasm”, Gopnik (1998) subrayó la peculiar fenomenología […] que acompaña a las explicaciones; en concreto, propuso que la sensación gratificante que acompaña al descubrimiento de una explicación […] podría ser un mecanismo evolutivo para asegurar el impulso hacia la exploración y el descubrimiento –de la misma forma que los orgasmos proporcionan el impulso necesario para la reproducción. Aunque esta “emoción cognitiva” pueda tener beneficios para la especie en su conjunto, ya que asegura una exploración constante del entorno, podría no ser suficiente para asegurar que los individuos –incluyendo a los científicos– acepten las mejores explicaciones. Así pues, Trout (2007) identifica varios factores cognitivos, como el sesgo de retrodicción o el exceso de confianza, que podrían producir una falsa o exagerada sensación de satisfacción intelectual […] cuando un científico opta por una explicación. De la misma forma, la gente tiende a preferir explicaciones que son más sencillas de lo que permiten los datos (Lombrozo, 2007) y tienden a encontrar las explicaciones adaptacionistas particularmente seductoras […] (Lombrozo, 2005). Hintzman (1991) se atrevió a sugerir que un simple acrónimo puede llegar a aceptarse como una explicación de algo, incluso si el propio acrónimo implica que el fenómeno no tiene explicación (por ejemplo, OVNI) (Lewandowsky & Farrell, 2011, p. 68-69).

Pseudociencia en las escuelas

Cuando los divulgadores hablan de los costes que la pseudociencia tiene para la sociedad moderna casi siempre recurren a los mismos sospechosos habituales: la homeopatía, el reiki, la quiropraxia… Todos ellos en el ámbito de la salud. Por desgracia el mundo de la medicina no es el único que se ve acosado por la pseudociencia ni es donde se concentran los mayores peligros. Mientras todas las defensas se concentran en evitar que la seguridad social cubra tratamientos complementarios y alternativos, en las escuelas campan a sus anchas todo tipo de ideas felices que, para sorpresa de profesores y padres, nunca han tenido apoyo empírico ni razón de ser.

Uno puede decir, como el celebérrimo Glenn Doman, que todos los niños son genios y que se les puede enseñar a leer y multiplicar antes de que cumplan un año y quedarse tan ancho. O peor aún, convertirse en un autor de referencia, con decenas miles de seguidores en el mundo entero. Tal vez usted no lo sepa, pero si tiene hijos pequeños o sobrinos en el colegio es más que probable que estas ideas se estén ensayando con ellos. ¿En qué evidencia se basan estas prácticas? En ninguna. Y se trata de un ejemplo entre muchos. No necesariamente el más preocupante.

Por eso son más necesarios que nunca artículos como el que acaban de publicar Scott Lilienfeld, Rachel Ammirati y Michael David en el Journal of School Psychology. El texto comienza con una señal de alarma: una pequeña sección sobre la preocupante distancia que aleja a los psicólogos educativos de la investigación científica. Unos pocos ejemplos bastan para sembrar la preocupación. Sistemas de enseñanza de la lectura que sabemos que son contraproducentes, técnicas diagnósticas sin valor predictivo, programas antidrogas que siguen implantándose en los centros aún sabiendo que no funcionan, todo tipo de creencias falsas sobre el (inexistente) aumento en la prevalencia del autismo…

Aunque Lilienfeld y colaboradores posiblemente lo ignoran, muchas de las prácticas que critican son recibidas con aplausos en los centros escolares españoles mientras escribo estas líneas. El método global de la enseñanza de la lectura es uno de los más sangrantes. Desde hace algunos años, en muchos centros educativos ya no se enseñan las reglas fonéticas. Aquello de que la “b” con la “a”, “ba”. Ahora se enseña a los niños una palabra completa, por ejemplo “árbol”, junto a un dibujo que representa el concepto. La idea es que haciendo esto con muchas palabras, los niños acabarán descifrando las reglas de la lectura. ¿Funciona? Bueno, algunos niños podrían aprender a leer casi sin que los adultos les enseñaran nada. Pero la evidencia señala que el método global falla con muchos niños. El viejo sistema supera con creces al de las palabras completas, pero por desgracia esta evidencia no llega a los colegios.

Tampoco es diferente el veredicto que hacen Lilienfeld y colaboradores de otra idea que se ha hecho fuerte en nuestras escuelas: la llamada teoría de los estilos de aprendizaje. Lo que esta teoría tiene de cierto es sentido común y lo que va más allá es pura pseudociencia. Que cada niño es diferente y que no siempre los métodos que son mejores para enseñar a unos niños son los mejores para enseñar a otros apenas es algo que pueda sorprender. Pero pasar de ahí a decir que disponemos de un buen sistema para diagnosticar cuál es el estilo de aprendizaje de cada alumno o que sabemos cómo trasladar esa información a prácticas educativas personalizadas para cada alumno es otra cosa. Lo cierto es que ni siquiera disponemos de un buen sistema de categorías para “clasificar” a los estudiantes. Las clasificaciones que se usan en las escuelas son tan burdas como decir que unos estudiantes son “visuales” y otros son “auditivos”. De nuevo, no tenemos ninguna evidencia empírica para sostener que estas clasificaciones son útiles y que los niños aprenden mejor cuando se llevan a la práctica estas ideas. Pero esto no impide que sean el último grito en “innovación” educativa. De hecho, no queda muy lejos de estas ideas la llamada teoría de las inteligencias múltiples, cuyo autor ha recibido nada menos que el Príncipe de Asturias de Ciencias Sociales del año 2011.

El artículo de Lilienfeld, Ammirati y David no pretende ser una simple denuncia de esta situación. De hecho, ni siquiera es su principal objetivo. La mayor parte del artículo está destinada a explicar las razones por las que creemos con tanta facilidad en estas teorías erróneas y, lo más importante, dar un pequeño número de consejos para ayudarnos a combatirlas, en nosotros mismos y en los demás. Si una práctica educativa no se a basa en estudios rigurosos sino en evidencia anecdótica, si una teoría está planteada de una forma que no es falsable o no puede ponerse a prueba, si se trata de ideas que no cambian ni se corrigen con el paso del tiempo, si las personas que las sostienen evitan las críticas a toda costa, si hacen “afirmaciones extraordinarias” sin disponer de “evidencia extraordinaria”… lo menos que podemos hacer es recelar.

__________

Lilienfeld, S. O., Ammirati, R., & David, M. (2012). Distinguishing science from pseudoscience in school psychology: Science and scientific thinking as safeguards against human error. Journal of School Psychology, 50, 7-36.

Cuando la evidencia científica es contradictoria

En todas las discusiones entre los defensores de una pseudociencia y sus adversarios resulta sorprendente comprobar cómo tanto uno como otro bando defienden tener la evidencia científica de su lado. Esto es particularmente frecuente en las discusiones sobre la eficacia de la homeopatía. Los defensores de esta “terapia” se defienden trayendo a colación los resultados de estudios científicos que observan un efecto beneficioso de la homeopatía, mientras que los escépticos invocan también a la propia ciencia para defender que la homeopatía es un fraude. Este tipo de situaciones invita a pensar que alguien miente. ¿O tal vez no?

Lo cierto es que en cualquier situación en la que el azar juegue un papel importante es perfectamente plausible que la evidencia científica arroje resultados tanto a favor como en contra de una determinada hipótesis. Lo interesante es ver qué sucede cuando se tiene en cuenta toda la evidencia disponible (en lugar de estudios aislados) e intentar encontrar qué variables pueden estar determinando que se observe uno u otro resultado.

Figura 1

En el caso de la homeopatía, disponemos de muchos y muy buenos meta-análisis que proporcionan esta información. Uno de mis favoritos es el publicado por Shang y colaboradores (2005) en The Lancet. Los resultados de ese estudio se pueden resumir con una gráfica como la que puede verse a la izquierda. (Confieso que son datos inventados; pero nadie me negará el parecido con la Figura 2 del artículo de Shang y colaboradores.)

Lo que este gráfico nos muestra es a) que efectivamente hay muchos estudios cuyo resultado sugiere que la homeopatía tiene un efecto terapéutico (puntos por encima de la línea 0), b) que efectivamente hay muchos estudios que muestran que la homeopatía no tuvo efectos (puntos cercanos a la línea 0), y c) que la principal diferencia entre unos y otros es la calidad metodológica del estudio (si se utilizó o no un control de doble ciego, cómo de grande era la muestra…). Si se trata de saber si la homeopatía es efectiva o no, con estos datos debería ser suficiente para obtener una respuesta: No. Los únicos estudios que muestran un efecto son los que tienen problemas metodológicos o muestras muy pequeñas. Cuando se consideran sólo los resultados de los mejores estudios, el efecto terapéutico no es significativamente diferente de 0.

Sin embargo, la gráfica anterior me interesa por un segundo motivo. Es de sentido común que los estudios que se basan en muestras más grandes arrojen datos más seguros. (Por eso ningún científico serio se cree del todo los resultados de ningún estudio con muestras pequeñas.) Cuando las muestras son pequeñas lo normal es que los resultados estén muy influidos por los caprichos del azar y sean por tanto muy variables. Sin embargo, esto no explica por qué en la gráfica anterior se observan resultados sistemáticamente positivos con muestras pequeñas. En otras palabras, ahí no vemos resultados variables, sino resultados consistentemente positivos. ¿A qué podría deberse esto? En realidad se puede deber a muy pocas cosas. Y lo más probable es que se deba a lo siguiente.

Imagina que en lugar de discutir sobre si la homeopatía funciona o no, estamos discutiendo sobre si una moneda está trucada o no. Tú dices que sí lo está, que salen más caras que cruces. Yo digo que no lo está. Así que para descubrir quién tiene razón probamos a tirar la moneda al aire unas cuantas veces. A veces, tiramos la moneda al aire 10 veces y vemos qué pasa. Otras veces tiramos la moneda al aire 15 veces y vemos qué pasa. Otras veces 20, otras 25, y así sucesivamente. Probablemente, si organizamos estos datos en una gráfica como la anterior, obtendremos unos resultados similares a los de la Figura 2.

Figura 2

Es decir, que cuando hacemos tiradas cortas, los resultados son muy variables. A veces obtenemos una proporción de caras muy por encima o muy por debajo de 0.50, aunque la media tiende a mantenerse en 0.50. Cuando hacemos tiradas más largas, los resultados son menos variables: La proporción de caras oscila poco en torno a ese mismo 0.50. ¿Qué sugieren estos datos? Pues que la moneda no está trucada.

Ahora bien, imaginemos que hacemos este experimento de una forma un poco diferente. En primer lugar, imagina que no tenemos una simple curiosidad desinteresada por saber si la moneda está trucada o no, sino que nos jugamos algo en ello. Por ejemplo, tú has apostado 200 euros a que salen más caras que cruces y yo me apuesto lo mismo a que no. Imaginemos además que el encargado de tirar la moneda y ver qué sale eres tú. Lo haces en tu casa y me vas contando por teléfono lo que te sale. Yo voy apuntando lo que me dices en una hoja de Excel y al final tengo una gráfica como la Figura 3.

Figura 3

Así, de buenas a primeras, parece que en la mayor parte de las tiradas hemos sacado más caras que cruces. Parece que tú ganas. Estoy casi tentado de acercarme al cajero para sacar tus 200 euros, cuando caigo en la cuenta de que la Figura 3 es exactamente igual a la 2 salvo que faltan algunos datos contrarios a tu hipótesis. ¿No parece más bien que has ido probando la moneda en casa y me has comentado sólo los resultados de las tiradas que te favorecían?

Efectivamente, cuando tenemos datos como los que aparecen en las Figuras 1 ó 3 podemos sospechar con toda legitimidad que se está omitiendo información. Es decir que los resultados de los ensayos homeopáticos como los que aparecen en la Figura 1 sugieren que no se están publicando todos los datos. Probablemente existen ensayos clínicos con muestras pequeñas que también han encontrado efectos nulos (¡o incluso negativos!) para la homeopatía, pero estos datos nunca han visto la luz.

Por el ejemplo que he utilizado, muchos estarán interpretando que acuso a los investigadores de la homeopatía de esconder a propósito datos que van contra la propia homeopatía. Seguro que algunos lo hacen. Pero no creo que toda la cuestión se pueda achacar a la falta de honestidad científica, ni creo que sea el motivo más importante de esta omisión de datos. Como cualquier investigador sabe, es muy difícil que una revista se anime a publicar estudios cuyo resultado es nulo, estudios donde no se demuestra que algo sea diferente de otra cosa. De la misma forma que “perro muerde a hombre” no es noticia, normalmente demostrar que “el tratamiento A no funciona” o que “el efecto X no se observa” raramente despierta el interés de la comunidad. Yo mismo tengo un archivador repleto de experimentos con resultados de experimentos nulos que nunca serán dados a conocer. Si tuviera la más mínima esperanza de que pudieran publicarse en una revista medianamente digna, ahora mismo estaría exhumándolos del archivo .RAR en el que están enterrados. Pero sé que no es así.

El resultado de esta política es lo que se suele denominar publicación selectiva, un importante problema de la investigación científica. Como se publican sobre todo los estudios que obtienen resultados muy significativos, la literatura científica suele exagerar el tamaño real que tienen algunos efectos. El problema es tan ubicuo que algún estudio ha llegado a sugerir que podría haber publicación selectiva de artículos sobre publicación selectiva (Dubben & Beck-Bornholdt, 2005). Afortunadamente disponemos de las técnicas de meta-análisis para saber cuándo puede estar pasando y para calcular el tamaño del sesgo. ¡Larga vida al meta-análisis!

__________

Dubben, H.-H., & Beck-Bornholdt, H.-P. (2005). Systematic review of publication bias in studies on publication bias. British Medical Journal, 331, 433–434.

Shang, A., Huwiler-Müntener, K., Nartey, L., Jüni, P., Dörig, S., Sterne, J. A. C., Pewsner, D., & Egger, M. (2005). Are the clinical effects of homeopathy placebo effects? Comparative study of placebo-controlled trials of homeopathy and allopathy. The Lancet, 366, 726-732.