Monthly Archives: December 2011

No hay mal que cien años dure

Posted on by

Buceando entre las referencias de Bad Science, el excelente libro de Ben Goldacre, me he topado con un magnífico estudio sobre ilusión de control publicado por Schaffner en el volumen de 1985 del Journal of Personality and Social Psychology. En este experimento, los participantes tenían que hacer las veces de un profesor de escuela que debía enseñar a sus alumnos a no llegar tarde a clase. Para ello cada día podían observar en la pantalla de un ordenador a qué hora había llegado un niño y decidir si suministrarle un premio, un castigo o no decirle nada. En realidad, la hora a la que llegaban los niños no dependía en absoluto de lo que hiciera el participante: se limitaba a oscilar al azar de un día a otro. Sin embargo, lo curioso es que esto no impedía que los participantes pensaran que sí ejercían cierto control. No sólo pensaban que estaban influyendo en la conducta de los niños sino que además desarrollaban creencias más específicas sobre cómo ejercer mejor ese control: les parecía que los castigos habían sido más efectivos que los premios a la hora de modificar la conducta de los niños. Este sesgo de preferencia hacia el castigo puede parecer extraño, pero resulta sencillo entenderlo si uno tiene en cuenta una propiedad importante de los procesos sometidos al azar, la regresión a la media.

Imagina que en un examen de matemáticas un estudiante saca un 9. Si tuvieras que apostar qué nota va a sacar en el examen siguiente, ¿dirías que va a sacar una nota más alta o más baja? La apuesta más sensata es que la siguiente nota estará más cerca de la media de la clase y, por tanto, será más baja. Es muy posible que el estudiante sea excepcionalmente bueno y merezca ese sobresaliente. Pero también es muy probable que se trate de un alumno no tan bueno que ha sido favorecido por la suerte. ¿Cuál de estas dos cosas es más probable? Bueno, por definición es más probable ser normal que ser excepcional; así que salvo que tengamos más información, lo primero parece más plausible. De modo que si al menos parte de ese 9 se debe al azar, es poco probable que esa suerte siga favoreciendo sistemáticamente al alumno en los siguientes exámenes en la misma medida. Si hay que apostar, es más seguro pensar que puntuará más bajo la siguiente vez. Lo mismo se aplicaría a un estudiante que saca una nota sorprendentemente baja en un examen. Si hubiera que apostar, lo más probable es que en el siguiente examen saque más nota. En otras palabras, las puntuaciones que se alejan de la media son excepcionales y lo más probable es que con el tiempo vuelvan al promedio.

¿Qué tiene esto que ver con el experimento anterior sobre ilusión de control? Veamos. Si la hora a la que llegan los niños tenía un componente aleatorio, habría momentos en los que los niños tenderían a ser más puntuales (por simple azar) y momentos en los que tenderían a llegar más tarde (también por simple azar). Ahora bien, tras una racha de días en los que un niño ha sido más puntual de lo normal, lo más probable es que vuelva a llegar tarde (por regresión a la media), y tras una racha de días en los que ha sido excepcionalmente tardón, lo más probable es que empiece a ser más puntual. Si lo que intentas es que el niño sea cada vez más puntual suministrando premios cuando lo hace bien, te encontrarás con que la estrategia sencillamente no funciona: tras una buena racha y un montón de premios, la conducta del niño tenderá a volver a la media, empeorando sin remedio. Sin embargo, si el niño ha llegado tarde unos cuantos días y comienzas a castigarle, lo más probable es que su conducta posterior vuelva a la media, lo que en este caso sería una mejoría. Eso te produciría la falsa sensación de que los castigos han sido efectivos a la hora de corregir la mala conducta, mientras que los premios han sido poco efectivos.

Este sencillo ejemplo es particularmente interesante porque a menudo se ha aducido que nuestra incapacidad para comprender el concepto de regresión a la media es la fuente de muchas supersticiones que mantenemos en nuestra vida cotidiana, a veces con importantes consecuencias sociales. En general, si un proceso depende completamente del azar, cualquier intento de mantener una situación excepcionalmente positiva se verá abocado al fracaso, mientras que por el contrario los intentos de corregir una situación excepcionalmente negativa parecerán (pero sólo ilusoriamente) ser más fructíferos. Unos pocos ejemplos nos permitirán ver cómo puede esto provocar errores en nuestras atribuciones causales.

Suele decirse que las medicinas alternativas parecen efectivas por el simple efecto placebo. Pero la regresión a la media interviene igualmente en producir cierta sensación de eficacia. Muchas enfermedades crónicas se caracterizan porque su intensidad varía constantemente debido al azar. A las temporadas de mayor malestar muchas veces les suceden buenas rachas sin motivo aparente o al menos sin motivos conocidos. Teniendo esto en cuenta, si recurrimos a cualquier remedio cuando peor nos sentimos, lo más probable es que luego nos sintamos mejor. No porque el remedio haya funcionado, sino porque después de una temporada especialmente mala lo más habitual es que la enfermedad nos dé una tregua.

Esta es una de las razones por las que cuando se pone a prueba la eficacia de una medicina necesitamos utilizar un grupo de control que no tome la medicina real. Los pacientes que se someten a un tratamiento experimental, lo hacen muchas veces tras pasar por una temporada en la que la enfermedad ha sido especialmente dura. Cualquier mejoría de estos pacientes podría deberse simplemente al curso natural de la enfermedad. Por tanto, no basta con saber que han mejorado tras someterse al tratamiento experimental. Hace falta un grupo de referencia donde ese curso natural sea equivalente para poder hacer comparaciones y ver cuánto de la mejoría se debe al azar y cuánto a la efectividad de la medicina que se está probando.

El principio de regresión a la media también es relevante cuando se trata de evaluar el impacto de intervenciones políticas y económicas. No hay prácticamente ninguna variable macroeconómica o social cuyo comportamiento no esté altamente influido por el azar. Las cotizaciones en bolsa, la evolución del PIB, incluso las cifras del paro tienen que ver con las políticas económicas, pero también tienen un importante componente de aleatoriedad. Esto implica que con frecuencia se sucederán rachas inusualmente positivas y rachas inusualmente negativas por simple azar. Sin embargo, siempre que las cosas empeoran, nuestra tendencia es hacer algo al respecto. Buscamos culpables, le pedimos al gobierno que haga algo, y si lo que hace no nos gusta o parece no funcionar, directamente lo cambiamos en las siguientes elecciones. En algún momento, tarde o temprano, las cosas mejoran, precisamente porque ese componente aleatorio no puede alimentar sistemática y perpetuamente la crisis. Cuando ese momento llega, es tentador pensar que lo último que hemos hecho ha sido lo que ha solucionado el problema. Pero no nos engañemos. En muchas ocasiones lo que nos saca de una crisis es exactamente lo mismo que nos mete en ella: el simple azar.

__________

Schaffner, P. E. (1985). Specious learning about reward and punishment. Journal of Personality and Social Psychology, 48, 1377-1386.

Antidoping para la ciencia

Posted on by

Imagina que estás realizando tu tesis doctoral y que, tras dos meses de arduo trabajo, acabas de recoger todos los datos de un experimento en el que pones a prueba, qué sé yo, si administrar sustancia X afecta al estado emocional de un grupo de pacientes con estrés post-traumático. Metes todos tus datos en un programa informático, ejecutas los comandos necesarios para comparar los datos del grupo experimental con los del grupo de control y, tras un redoble de tambor que suena sólo en tu mente, descubres de la significación estadística de la diferencia es… p = 0.057.

Lo que iba a ser un día feliz se ha venido abajo. Según lo que te han enseñado en clase de estadística, no has descubierto nada de nada. No hay razones para pensar que la sustancia influye en el estado anímico, porque para poder sospechar que existe esa relación, el valor de esa p debería ser menor de 0.05. Estuviste cerca, pero fallaste. ¿O tal vez no? ¿Y si resulta que estás en lo cierto, que esa sustancia tiene el efecto que tú crees pero a tu experimento le falta lo que llamamos “poder estadístico”? ¿Y si simplemente necesitas recoger más datos para confirmar tus sospechas?

Los científicos nos enfrentamos muy habitualmente a situaciones como estas y casi siempre tomamos la misma decisión: Ampliar nuestra muestra para ver hacia dónde se mueve esa p. Parece algo inocente. Al fin y al cabo, ¿cómo puede conducirnos a engaño basar nuestras conclusiones en más datos? Sin embargo, actuar así tiene sus riesgos. En principio, siguiendo rigurosamente los cánones de la metodología científica, antes de hacer un experimento deberíamos decidir cuántas observaciones vamos a realizar y después deberíamos creernos lo que salga de esa muestra. Hacer lo contrario, analizar los datos cuando tenemos parte de la muestra y ampliarla más o menos según lo que nos vayan diciendo esos análisis, es peligroso porque puede arrojar falsos positivos: Supone incrementar el riesgo de que esa p sea menor que 0.05 se deba al simple azar y no a que hayamos descubierto una diferencia realmente significativa. Pero el proceso no está libre de ambigüedades porque, para empezar, ¿cómo sabemos a priori cuál es el tamaño ideal para nuestra muestra?

En un interesantísimo artículo que acaba de publicarse en Psychological Science, Joseph Simmons, Leif Nelson y Uri Simonsohn, nos muestran hasta qué punto pueden ser dañinas estas prácticas y otras similares, tales como omitir información sobre algunas variables dependientes en favor de otras, decidir si realizar un análisis teniendo o sin tener en cuenta una covariable, o informar sólo de los grupos que mejor se ajustan a los resultados deseados. Mediante una simulación informática muestran que si los investigadores se permiten recurrir libremente a estas estrategias, las posibilidades de que los datos lleguen a reflejar relaciones inexistentes crecen de una forma vertiginosa. De hecho, llegan a estimar que recurriendo a la vez a todas ellas, la probabilidad de que una diferencia significativa refleje un falso positivo (que normalmente debería ser del 5%; eso es lo que significa precisamente la p de más arriba) puede llegar al 60.7%.

Por si estas simulaciones no fueran suficiente, los autores recurren a un argumento mucho más didáctico. Realizan dos experimentos en los que violando estas reglas demuestran que la gente se hace más joven (no que se sienta más joven, ¡sino que es más joven literalmente!) tras escuchar “When I’m sixty-four” de los Beatles que tras escuchar “Kalimba” una canción instrumental incluida en el Windows 7. En otras palabras, aunque utilicemos controles experimentales rigurosos y análisis estadísticos robustos y adecuados, permitirnos la libertad de ampliar muestra a nuestro antojo, seleccionar los grupos o las variables dependientes más favorables o realizar los análisis que nos parezcan mejores a posteriori, puede permitirnos demostrar cualquier cosa y su contraria. Esta conclusión viene a coincidir con la que hace unos años expresaba Ioannidis en un popular artículo cuyo nombre lo decía todo: Why most published research findings are false.

El artículo de Simmons y colaboradores concluye con una serie de recomendaciones  a los investigadores y a los revisores de revistas científicas para reducir el peligro de obtener falsos positivos. Lo que sugieren, básicamente, se reduce a pedir a los autores que sean más transparentes con las medidas que realizan, con el número de grupos que utilizaron, con el criterio que siguieron a la hora de decidir el tamaño muestral y con los resultados que tienen cuando los análisis se realizan de diferentes maneras. Los revisores, lógicamente, tienen que asegurarse de que se cumpla con estos estándares. Pero también les lanza una recomendación importante: deberían ser más tolerantes con las imperfecciones de los resultados. Al fin y al cabo, si el experimento de más arriba se hubiera podido publicar con esa p = 0.057, la historia habría terminado ahí.

__________

Ioannidis, J. P. A. (2005). Why most published research findings are false. PLoS Medicine, 2, e124.

Simmons, J. P., Nelson, L. D., & Simonsohn, U. (2011). False-positive psychology: Undisclosed flexibility in data collection and analysis allows presenting anything as significant. Psychological Science, 22, 1359-1366.

Los periodistas que no amaban la verdad

Posted on by

El ejemplar de Mujer hoy que acompaña a El Correo en su edición de esta mañana nos ofrece un ejemplo particularmente triste de cómo la ignorancia puede saltar de cabeza a cabeza, como una peste de piojos, utilizando los medios de comunicación como vector. En la página 68 nos encontramos con el artículo “Grandes hits de la homeopatía”, un  pozo de sabiduría que nos revelará cómo acabar con el dolor de muelas, controlar nuestras emociones, prevenir las crisis de pánico o terminar con el resfriado común y la irritación nasal. ¿La solución? Un colorido botiquín de remedios homeopáticos, revestido de la cientificiosidad que proporcionan las cifras 7CH ó 15CH y los latinajos que disfrazan sus envoltorios; por un instante casi los hacen pasar por verdaderas medicinas ante los inocentes ojos del consumidor.

El reportaje sería una broma pesada y de mal gusto si se limitara a decir que 8 de cada 10 homeópatas recomiendan estas soluciones para tratar dolores puntuales o pequeñas afecciones del estado de ánimo. Sin embargo, el autor o autora, apenas puede dejar de espetar alusiones al concepto de “eficacia demostrada” a cada línea del texto. Leemos así afirmaciones como “sus efectos anti-inflamatorios están demostrados”, “si se combina con Gelsium, su efecto mejora notablemente”, “[es] extremadamente efectivo para tratar las angustias vinculadas a la anticipación de un suceso” y, este me encanta, “[es] hipereficaz contra todos los trastornos del sistema digestivo”.

El reportaje no ahorra tinta para expresar lo terriblemente efectivos que son estos potingues, libres de cualquier efecto secundario. Sin embargo, no he podido encontrar por ninguna parte alusión a diversos hechos como que a) los productos homeopáticos sólo contienen su excipiente (nunca tienen un componente activo; de hecho no tienen componentes del tipo que sea, salvo el excipiente), b) ninguno de los muchos y muy buenos meta-análisis realizados con los estudios disponibles muestra que la homeopatía tenga efecto alguno para el tratamiento de cualquier enfermedad o síntoma, más allá del efecto placebo, y c) es normal que así sea, porque para que la homeopatía funcionara, muchas de nuestras teorías físicas y químicas más firmemente establecidas deberían ser falsas.

Si los periodistas y los técnicos de la comunicación tuvieran que formular algo parecido a un juramento hipocrático antes de ejercer su profesión, se me ocurren pocas formas más efectivas de violarlo que publicar reportajes como éste. En la sociedad del conocimiento, los periodistas son un colectivo clave para que la información fluya hacia el ciudadano medio que por falta de tiempo, conocimientos o criterio no puede dedicarse a valorar críticamente cada idea que le llega. La responsabilidad que nos es dado exigir a estos profesionales corre pareja a la creciente importancia de su trabajo en nuestra sociedad. La mala praxis de un periodista que por ignorancia, dejadez o malicia desinforma a sus lectores es tan grave para la sociedad como la de un cirujano que extirpa órganos equivocados u olvida metros de gasas en el cuerpo de sus pacientes. Exigiríamos a estos últimos una compensación por los daños causados. ¿Cuándo empezaremos a hacer lo mismo con los primeros?

La mente tras la ciencia

Posted on by

La psicología es una ciencia joven, pequeña, de las que plantea cuatro preguntas por cada respuesta (siempre tentativa) que proporciona. Sin embargo, también es una gran ciencia, única, llena de paradojas, con infinitas aplicaciones tras cada minúsculo avance. Una de sus peculiaridades más atractivas es que tiene algo que decir sobre casi cualquier cosa. Nada humano le es ajeno.

Ni siquiera la propia ciencia en sí queda más allá del alcance de los psicólogos. Entre otras muchas cosas, la psicología estudia cómo percibimos la realidad, cómo aprendemos sobre ella y cómo la explicamos. Son esas precisamente las tareas que realiza cualquier científico, especialista en la disciplina que fuere: observar, aprender y entender. Por supuesto, que el conocimiento del científico va más allá del conocimiento humano común. (De lo contrario, no nos costaría tanto aprender matemáticas, física o biología en la escuela.) Pero no hay ninguna razón para creer que las investigaciones psicológicas sobre cómo funciona la mente humana no puedan ayudarnos a entender mejor cómo funciona la mente del científico.

Desde hace varias décadas, algunos psicólogos vienen hablando de lo que se denomina psicología de la ciencia: una nueva área que pretende utilizar todo el arsenal metodológico y teórico de la psicología moderna para entender y favorecer el pensamiento científico. El último número de Current Directions in Psychological Science, nos ofrece una breve pero interesante introducción a esta disciplina.

En este artículo, Feist (2011) nos presenta varias facetas de la psicología de la ciencia. Una de las contribuciones más significativas es que los procesos estudiados por la psicología cognitiva (tales como la resolución de problemas, los sesgos de confirmación y pensamiento analógico o metafórico) nos pueden ayudar a entender mejor el pensamiento científico o al menos a describirlo de una forma acertada. Lo cierto es que la breve revisión de Feist no proporciona muchos detalles al respecto. Sin embargo, en un artículo muy anterior de Tweney (1998), al que Feist hace referencia, sí podemos encontrar ejemplos detallados de lo que puede ofrecer esta psicología cognitiva de la ciencia.

En uno de los estudios relatados por Tweney, se pidió a un grupo de científicos que investigaran las leyes que determinaban cómo el movimiento de una serie de partículas que aparecían en la pantalla del ordenador se veía influido por la presencia de varios objetos geométricos. Los participantes podían realizar experimentos ficticios para explorar estas leyes lanzando partículas contras los objetos. Contra todo pronóstico, encontraron que en las primeras fases de sus investigaciones los científicos caían recurrentemente en lo que los psicólogos solemos llamar sesgo de confirmación: se centraban más en hacer experimentos que pudieran demostrar que su teoría era cierta que en experimentos que pudieran falsarla. Aunque en la psicología cognitiva se lo suela considerar un error (de ahí el nombre de sesgo), al parecer se trataba de una estrategia muy fructífera para los investigadores, porque les permitía retener y explorar temporalmente hipótesis débiles que si bien podían ser falsadas en poco tiempo, proporcionaban claves para encontrar las teorías correctas. Los buenos científicos, primero hacían todo lo posible por confirmar sus teorías y sólo después pasaban a intentar falsarlas. En otras palabras, es bueno comenzar por tener la mente abierta, pero la ciencia no avanza sólo con eso: se requiere un pensamiento más crítico a medida que se acumula la evidencia.

Tweney también nos proporciona ejemplos de psicólogos cognitivos que han diseñado programas de inteligencia artificial que pretenden simular la conducta y el pensamiento de los científicos. Estos programas funcionan como un solucionador general de problemas. Representan el problema científico como un espacio multidimensional. Las herramientas del científico serían un conjunto de operadores que permiten moverse por ese espacio y encontrar la solución al problema por medio de un análisis de medios y fines. Lo curioso del funcionamiento de estos programas es que se parece sorprendentemente a los progresos reales que realizan los científicos que se enfrentan con un problema determinado. De hecho, para poner a prueba estos modelos, lo que hacen algunos autores es contrastar su comportamiento con los diarios que tenemos de científicos famosos, mezclando así psicología, biografía e inteligencia artificial.

Tanto Feist como Tweney se detienen también a presentar estudios descriptivos sobre cómo trabajan los científicos in vivo. En este tipo de investigaciones, los psicólogos observan a los científicos durante sus reuniones y sus experimentos para ver qué tipo de mecanismos utilizan a la hora de generar ideas o ponerlas a prueba. Estos estudios confirman que efectivamente los científicos caen sistemáticamente en algunos sesgos, como tender a conservar hipótesis que pueden considerarse claramente falsadas. Pero también nos proporcionan información adicional sobre cómo surgen las ideas de los científicos. En muchos casos, son intentos de dar sentido a patrones de datos inesperados. En otros casos, se basan en analogías con otros procesos cuyo funcionamiento ya conocían. Este tipo de estudios puede resultar muy revelador tanto para encontrar fallos corregibles en el trabajo cotidiano de los científicos como para consolidar las prácticas que sean más productivas o que conduzcan a una mayor creatividad.

La psicología de la ciencia no termina con este tipo de contribuciones. Según Feist, también la psicología del desarrollo, la psicología educativa o la psicología de la personalidad, entre otras, pueden proporcionar ideas novedosas, ya sea para entender cómo piensan los científicos o para favorecer el desarrollo de las habilidades científicas en niños y adolescentes. Por ahora se trata sólo de ideas relativamente fragmentarias que tendrán que demostrar su valía estimulando nueva investigación y proporcionando teorías que nos permitan entender mejor cómo funciona la ciencia. Pero se trata ciertamente de un enfoque prometedor. Quién sabe si la psicología de la ciencia no nos ayudará a hacer de la propia psicología una ciencia mejor.

__________

Feist, G. J. (2011). Psychology of science as a new subdiscipline in psychology. Current Directions in Psychological Science, 20, 330-334.

Tweney, R. D. (1998). Toward a cognitive psychology of science: Recent research and its implications. Current Directions in Psychological Science, 7, 150-154.

Qué es un contexto temporal

Posted on by

Uno de los fenómenos más conocidos pero menos entendidos de la psicología contemporánea es que el mero paso del tiempo influye en cómo nos comportamos y en cómo utilizamos la información que hemos adquirido. Si nos vemos involucrados en un juicio y nuestro futuro depende del veredicto de un jurado, no es lo mismo que los alegatos a nuestro favor se formulen al principio o al final. Y tampoco es lo mismo que el jurado deba pronunciarse justo tras oír los alegatos o un tiempo después. Sabemos que todo esto influye en la decisión del jurado.

El estudio de estos fenómenos es cualquier cosa menos nuevo. El lector recordará que a Pavlov se le conoce entre otras cosas por demostrar que si cada que damos de comer a un perro hacemos sonar una campana antes de darle la comida, siempre que en el futuro oiga la campana el animal comenzará a salivar. Lo cierto es que Pavlov no fue el descubridor del condicionamiento clásico, pero sí que fue el primer científico que investigó sistemáticamente este fenómeno. Descubrió, por ejemplo, que aunque el perro hubiera aprendido a salivar al oír la campana, si la campana empezaba a presentarse de forma aislada sin ir acompañada de la comida llegaba un momento que este reflejo desaparecía o, en términos técnicos, se extinguía. Lo curioso es que si se dejaba pasar un tiempo sin que el animal oyera la campana, ese reflejo podía reaparecer. Es decir, una conducta que parecía haberse desaprendido, por así decirlo, reaparecía con el paso del tiempo.

Para explicar este tipo de fenómenos, los psicólogos cognitivos suelen decir que algunas experiencias están íntimamente ligadas al contexto en el que se aprendieron. Por ejemplo, si teníamos miedo a las arañas y vamos a un psicoterapeuta para que nos trate este miedo, puede llegar un momento en el que nuestra fobia desaparezca en la consulta. Sin embargo, nada garantiza que cuando volvamos a casa y nos encontremos con una araña nuestro miedo no pueda volver a aparecer. En otras palabras, lo que aprendimos en la consulta puede no generalizarse a otros contextos.

A veces estos contextos son fáciles de definir (por ejemplo, una habitación, un parque, la compañía de una persona en concreto, etc.) pero otras veces parece que es el propio paso del tiempo el que hace que salgamos de un contexto y entremos en otro. Tal es el caso en los ejemplos que hemos mencionado anteriormente, como la reaparición de los reflejos extinguidos en los experimentos de Pavlov con el paso del tiempo, o la influencia del momento del veredicto en el caso de los jurados. En el ámbito del aprendizaje asociativo, son varias las teorías que utilizan este concepto de contexto temporal para explicar cómo la conducta y la recuperación de información cambian con el paso del tiempo. Pero son teorías poco formalizadas que, por ejemplo, son difíciles de simular en un ordenador.

Afortunadamente, en los estudios sobre memoria episódica sí que contamos con teorías matemáticas que podrían servir para definir mejor qué es un contexto temporal. En una reciente colaboración entre nuestro equipo de investigación y la Universidad de Queensland (Matute, Lipp, Vadillo, & Humphreys, 2011) proponemos una alianza entre estas teorías matemáticas sobre la memoria episódica y los estudios sobre los contextos temporales que se han realizado tradicionalmente en el área del aprendizaje asociativo. Por una parte, nuestros experimentos intentan replicar con tareas de aprendizaje predictivo fenómenos ya que habían sido investigados en el área de la memoria episódica y que muestran cómo al ver eventos asociados a un contexto temporal concreto se activan nuestros recuerdos de otros eventos que también aparecieron en aquel contexto. Además mostramos que esta combinación de teorías del aprendizaje y teorías de la memoria permite realizar predicciones novedosas que difícilmente se habrían considerado en cualquiera de esas áreas por separado.

_________

Matute, H., Lipp, O. V., Vadillo, M. A., & Humphreys, M. S. (2011). Temporal contexts: Filling the gap between episodic memory and associative learning. Journal of Experimental Psychology: General, 140, 660-673.

Cuando la evidencia científica es contradictoria

Posted on by

En todas las discusiones entre los defensores de una pseudociencia y sus adversarios resulta sorprendente comprobar cómo tanto uno como otro bando defienden tener la evidencia científica de su lado. Esto es particularmente frecuente en las discusiones sobre la eficacia de la homeopatía. Los defensores de esta “terapia” se defienden trayendo a colación los resultados de estudios científicos que observan un efecto beneficioso de la homeopatía, mientras que los escépticos invocan también a la propia ciencia para defender que la homeopatía es un fraude. Este tipo de situaciones invita a pensar que alguien miente. ¿O tal vez no?

Lo cierto es que en cualquier situación en la que el azar juegue un papel importante es perfectamente plausible que la evidencia científica arroje resultados tanto a favor como en contra de una determinada hipótesis. Lo interesante es ver qué sucede cuando se tiene en cuenta toda la evidencia disponible (en lugar de estudios aislados) e intentar encontrar qué variables pueden estar determinando que se observe uno u otro resultado.

Figura 1

En el caso de la homeopatía, disponemos de muchos y muy buenos meta-análisis que proporcionan esta información. Uno de mis favoritos es el publicado por Shang y colaboradores (2005) en The Lancet. Los resultados de ese estudio se pueden resumir con una gráfica como la que puede verse a la izquierda. (Confieso que son datos inventados; pero nadie me negará el parecido con la Figura 2 del artículo de Shang y colaboradores.)

Lo que este gráfico nos muestra es a) que efectivamente hay muchos estudios cuyo resultado sugiere que la homeopatía tiene un efecto terapéutico (puntos por encima de la línea 0), b) que efectivamente hay muchos estudios que muestran que la homeopatía no tuvo efectos (puntos cercanos a la línea 0), y c) que la principal diferencia entre unos y otros es la calidad metodológica del estudio (si se utilizó o no un control de doble ciego, cómo de grande era la muestra…). Si se trata de saber si la homeopatía es efectiva o no, con estos datos debería ser suficiente para obtener una respuesta: No. Los únicos estudios que muestran un efecto son los que tienen problemas metodológicos o muestras muy pequeñas. Cuando se consideran sólo los resultados de los mejores estudios, el efecto terapéutico no es significativamente diferente de 0.

Sin embargo, la gráfica anterior me interesa por un segundo motivo. Es de sentido común que los estudios que se basan en muestras más grandes arrojen datos más seguros. (Por eso ningún científico serio se cree del todo los resultados de ningún estudio con muestras pequeñas.) Cuando las muestras son pequeñas lo normal es que los resultados estén muy influidos por los caprichos del azar y sean por tanto muy variables. Sin embargo, esto no explica por qué en la gráfica anterior se observan resultados sistemáticamente positivos con muestras pequeñas. En otras palabras, ahí no vemos resultados variables, sino resultados consistentemente positivos. ¿A qué podría deberse esto? En realidad se puede deber a muy pocas cosas. Y lo más probable es que se deba a lo siguiente.

Imagina que en lugar de discutir sobre si la homeopatía funciona o no, estamos discutiendo sobre si una moneda está trucada o no. Tú dices que sí lo está, que salen más caras que cruces. Yo digo que no lo está. Así que para descubrir quién tiene razón probamos a tirar la moneda al aire unas cuantas veces. A veces, tiramos la moneda al aire 10 veces y vemos qué pasa. Otras veces tiramos la moneda al aire 15 veces y vemos qué pasa. Otras veces 20, otras 25, y así sucesivamente. Probablemente, si organizamos estos datos en una gráfica como la anterior, obtendremos unos resultados similares a los de la Figura 2.

Figura 2

Es decir, que cuando hacemos tiradas cortas, los resultados son muy variables. A veces obtenemos una proporción de caras muy por encima o muy por debajo de 0.50, aunque la media tiende a mantenerse en 0.50. Cuando hacemos tiradas más largas, los resultados son menos variables: La proporción de caras oscila poco en torno a ese mismo 0.50. ¿Qué sugieren estos datos? Pues que la moneda no está trucada.

Ahora bien, imaginemos que hacemos este experimento de una forma un poco diferente. En primer lugar, imagina que no tenemos una simple curiosidad desinteresada por saber si la moneda está trucada o no, sino que nos jugamos algo en ello. Por ejemplo, tú has apostado 200 euros a que salen más caras que cruces y yo me apuesto lo mismo a que no. Imaginemos además que el encargado de tirar la moneda y ver qué sale eres tú. Lo haces en tu casa y me vas contando por teléfono lo que te sale. Yo voy apuntando lo que me dices en una hoja de Excel y al final tengo una gráfica como la Figura 3.

Figura 3

Así, de buenas a primeras, parece que en la mayor parte de las tiradas hemos sacado más caras que cruces. Parece que tú ganas. Estoy casi tentado de acercarme al cajero para sacar tus 200 euros, cuando caigo en la cuenta de que la Figura 3 es exactamente igual a la 2 salvo que faltan algunos datos contrarios a tu hipótesis. ¿No parece más bien que has ido probando la moneda en casa y me has comentado sólo los resultados de las tiradas que te favorecían?

Efectivamente, cuando tenemos datos como los que aparecen en las Figuras 1 ó 3 podemos sospechar con toda legitimidad que se está omitiendo información. Es decir que los resultados de los ensayos homeopáticos como los que aparecen en la Figura 1 sugieren que no se están publicando todos los datos. Probablemente existen ensayos clínicos con muestras pequeñas que también han encontrado efectos nulos (¡o incluso negativos!) para la homeopatía, pero estos datos nunca han visto la luz.

Por el ejemplo que he utilizado, muchos estarán interpretando que acuso a los investigadores de la homeopatía de esconder a propósito datos que van contra la propia homeopatía. Seguro que algunos lo hacen. Pero no creo que toda la cuestión se pueda achacar a la falta de honestidad científica, ni creo que sea el motivo más importante de esta omisión de datos. Como cualquier investigador sabe, es muy difícil que una revista se anime a publicar estudios cuyo resultado es nulo, estudios donde no se demuestra que algo sea diferente de otra cosa. De la misma forma que “perro muerde a hombre” no es noticia, normalmente demostrar que “el tratamiento A no funciona” o que “el efecto X no se observa” raramente despierta el interés de la comunidad. Yo mismo tengo un archivador repleto de experimentos con resultados de experimentos nulos que nunca serán dados a conocer. Si tuviera la más mínima esperanza de que pudieran publicarse en una revista medianamente digna, ahora mismo estaría exhumándolos del archivo .RAR en el que están enterrados. Pero sé que no es así.

El resultado de esta política es lo que se suele denominar publicación selectiva, un importante problema de la investigación científica. Como se publican sobre todo los estudios que obtienen resultados muy significativos, la literatura científica suele exagerar el tamaño real que tienen algunos efectos. El problema es tan ubicuo que algún estudio ha llegado a sugerir que podría haber publicación selectiva de artículos sobre publicación selectiva (Dubben & Beck-Bornholdt, 2005). Afortunadamente disponemos de las técnicas de meta-análisis para saber cuándo puede estar pasando y para calcular el tamaño del sesgo. ¡Larga vida al meta-análisis!

__________

Dubben, H.-H., & Beck-Bornholdt, H.-P. (2005). Systematic review of publication bias in studies on publication bias. British Medical Journal, 331, 433–434.

Shang, A., Huwiler-Müntener, K., Nartey, L., Jüni, P., Dörig, S., Sterne, J. A. C., Pewsner, D., & Egger, M. (2005). Are the clinical effects of homeopathy placebo effects? Comparative study of placebo-controlled trials of homeopathy and allopathy. The Lancet, 366, 726-732.

El extraño caso del Dr. Freud y Miss Eckstein

Posted on by

El siempre humilde Freud gustaba de compararse con algunas de las figuras más destacadas de la historia de la ciencia. Según el médico vienés, el psicoanálisis constituía el tercer y definitivo golpe al orgullo humano, tras la teoría heliocéntrica de Copérnico y la teoría de la selección natural de Darwin. Y en lo que a impacto social se refiere, no andaba equivocado. A día de hoy, las encuestas sociológicas nos muestran que millones de ciudadanos del mundo desarrollado siguen sin aceptar la evolución. Pero, hasta donde mi conocimiento alcanza, ninguna ley de Alabama ha puesto obstáculos a la enseñanza del psicoanálisis en las aulas.

El respeto que despierta su figura entre algunos de nuestros académicos tiene menos que ver con la admiración que con la veneración, y criticar abiertamente el psicoanálisis viene a ser, en algunos círculos, poco menos que quemar la imagen de un santo o hacer una caricatura de Mahoma. Dudo mucho que el nombre de otros personajes equivalentes de la historia de la psicología como Skinner o Chomsky le suenen de nada al ciudadano medio. Sin embargo, mientras escribo estas líneas, la nueva película de Cronenberg, Un método peligroso, rinde culto al tercer hijo de Jacob Freud.

Cualquier intento de criticar el psicoanálisis es automáticamente interceptado con una serie de argumentos que nos resultan familiares a todos los que no simpatizamos con la obra de Sigmund. Me permitirá el lector que me centre aquí sólo en una de estas contramedidas. Según los férreos defensores del credo psicodinámico, la eficacia de la terapia psicoanalítica es la prueba absoluta y definitiva de la veracidad de sus teorías. ¿Cómo iban a curarse los pacientes neuróticos sometidos a psicoanálisis de ser falsa la teoría en la que se basa? En la obra freudiana abunda la descripción de casos que atestiguan su valor terapéutico.

Pero, ¿quién juzga qué casos son un éxito y cuáles no? Confío en el criterio no informado del lector para valorar el éxito del siguiente caso, relatado en el reciente libro de Michel Onfray, Freud. El crepúsculo de un ídolo.

Emma Eckstein (1865-1924)

Corría el año 1892 cuando la joven Emma Eckstein acudió a la consulta del Dr. Freud buscando una solución para problemas de poca gravedad, que incluían dolor de estómago crónico, depresión moderada y abundantes hemorragias menstruales. En la mente del padre del psicoanálisis estos síntomas sólo podían ser la manifestación de una histeria provocada por una masturbación excesiva. Afortunadamente, nada que no pudiera curarse con tres años de psicoterapia.

O tal vez sí, porque en 1895 Freud opta por recomendar a su paciente someterse a un innovador tratamiento. Tanto él como su colega Wilhelm Fliess habían especulado en sus cartas sobre las complejas conexiones entre la nariz y los órganos sexuales. Fliess había puesto ya a prueba estas ideas cauterizando la cavidad nasal de sus pacientes, pero sospechaba que con estas intervenciones sólo se podía lograr un éxito pasajero. La curación completa e irreversible requería una cirugía más profunda. En el caso de Emma Eckstein, a quien Freud había diagnosticado una “neurosis nasal refleja”, Fliess recomienda extirpar el cornete nasal izquierdo.

Contra todo pronóstico, Emma empeora sistemáticamente tras la operación. Las abundantes hemorragias e infecciones, los intensos dolores y las secreciones fétidas habrían alertado a cualquier médico del mal estado de las heridas. Sin embargo, el Dr. Freud, que no desea importunar a su amigo Wilhelm con las quejas de la enferma, achaca el estado de Emma a la somatización de su trastorno histérico y a la hostilidad reprimida hacia él mismo y hacia Fliess. Sólo cuando el estado de la paciente se hace insostenible decide Freud pedir ayuda a su amigo el Dr. Ignaz Rosanes, quien encuentra en la nariz de la joven Eckstein una gasa de medio metro de longitud que Fliess se había olvidado durante la operación.

La desafortunada Emma quedó permanentemente desfigurada después de este episodio y las hemorragias nasales se convirtieron en un problema crónico. No obstante, el diagnóstico de Freud se mantuvo firme: Los deseos sexuales reprimidos que antes de la operación habían provocado la dismenorrea eran también responsables de las nuevas hemorragias nasales. Su opinión no cambió cuando diez años después Emma volvió a sufrir de dolores abdominales. Esta vez Emma se negó a retomar el psicoanálisis, como le propuso Freud, y se puso en manos de médicos más competentes que pocos años después le extirparon un mioma benigno en el útero. Quién sabe cuánto tiempo llevaba el tumor allí.

Años después de la muerte de Emma en 1924, Freud seguía calificando el caso como un éxito rotundo…