Siempre me ha sorprendido que a los escépticos de nuestro país les preocupen tanto la homeopatía y las flores de Bach -que al fin y al cabo son libres de tomar o no- y sin embargo permanezcan indiferentes ante las prácticas pseudocientíficas a las que, lo quieran o no, someten a sus hijos en las escuelas. Es difícil encontrar una escuela donde no se utilicen los bits de inteligencia de Doman, basados en la idea de que con la estimulación adecuada, cualquier niño de menos de uno año de edad puede aprender a escribir, sumar y restar. Bajo el nombre de HERAT acaba de llegar a nuestro país un programa educativo que en el resto de los países se conoce como Brain Gym y se basa en ideas felices como que los niños aprenden mejor si beben seis vasos de agua al día (porque “la comida procesada no tiene agua”), o si se tocan los lóbulos de las orejas de cierta manera para favorecer la conexión de los hemisferios cerebrales a través del cuerpo calloso. No pasa nada si tu hijo tiene problemas de dislexia, autismo o TDAH –que por cierto, no existe– porque disponemos de sencillos métodos que curan todo esto y más a base de hacer ejercicios de percusión o escuchando música manipulada electrónicamente. Lógicamente, los cursillos donde se enseña esto hacen furor entre el profesorado. Los niños del siglo XXI ya no son introvertidos o extrovertidos; no se les dan bien o mal las matemáticas. Ahora son de hemisferio izquierdo o de hemisferio derecho; visuales, kinestésicos o auditivos; tienen inteligencias múltiples, cada uno las suyas. De hecho, los niños son ahora tan diferentes los unos de los otros que ya sólo tienen una cosa en común: Todos son genios. En fin. Entre tanta tontería sólo hay un puñado de valientes que se atreve a decirle al emperador que va desnudo. Y entre ellos, Albert Reverter brilla con luz propia. Así que cuando me preguntó si me dejaría entrevistar para su blog, El Mcguffin Educativo, la respuesta fue sencilla. El resultado, aquí.
Tag Archives: pseudociencia
Criterios diagnósticos de la pseudociencia
A lo largo de la historia, decenas de científicos y filósofos han intentado demarcar la frontera que separa la ciencia de la pseudociencia buscando un criterio bien definido que las separe. Para unos, la principal diferencia es la falsabilidad de las teorías científicas frente a la vaguedad de la pseudociencia. Para otros, es la utilización del método científico lo que mejor las distingue. Sin embargo, ni éstas ni otras propuestas similares se han hecho con la aceptación general de los académicos. Sea cual sea el criterio que se elija, siempre es posible encontrar algún contraejemplo que lo invalide. No es extraño que algunos filósofos, como Paul Feyerabend, hayan concluido que en realidad no hay ninguna diferencia esencial entre ciencia y pseudociencia. Sin embargo, existe una salida alternativa a este problema.
Normalmente intentamos definir los conceptos (como el concepto de “ciencia”) buscando las características necesarias y suficientes que debe reunir un elemento para pertenecer a la categoría que describe ese concepto. Por ejemplo, la definición de ser humano solía ser “animal racional”. Si algo es un animal y es racional, y si esa definición es correcta, entonces puede clasificarse con toda seguridad un ser humano. Sin embargo, hay conceptos cuyos elementos, utilizando la expresión de Wittgenstein, no tienen en común más que cierto “parecido familiar”: tienden a presentar ciertos rasgos comunes, pero ninguno de ellos es necesario ni suficiente para ser correctamente clasificado.
Un buen ejemplo de estas categorías son las enfermedades mentales. Como aún no sabemos muy bien cómo caracterizar algunas de ellas o cómo explicarlas, lo que los psicólogos y psiquiatras hacen es elaborar un listado de criterios diagnósticos para cada enfermedad. A un paciente se le diagnostica una enfermedad cuando cumple con un número determinado de esos criterios diagnósticos. Por ejemplo, el DSM-IV-TR propone diagnosticar un episodio depresivo mayor cuando un paciente cumple con cinco o más de estos criterios:
(1) Estado de ánimo depresivo la mayor parte del día, casi todos los días, indicado por el relato subjetivo o por observación de otros.
(2) Marcada disminución del interés o del placer en todas, o casi todas, las actividades durante la mayor parte del día, casi todos los días.
(3) Pérdida significativa de peso sin estar a dieta o aumento significativo, o disminución o aumento del apetito casi todos los días.
(4) Insomnio o hipersomnia casi todos los días.
(5) Agitación o retraso psicomotores casi todos los días.
(6) Fatiga o pérdida de energía casi todos los días.
(7) Sentimientos de desvalorización o de culpa excesiva o inapropiada (que pueden ser delirantes) casi todos los días (no simplemente autorreproches o culpa por estar enfermo).
(8) Menor capacidad de pensar o concentrarse, o indecisión casi todos los días (indicada por el relato subjetivo o por observación de otros).
(9) Pensamientos recurrentes de muerte (no sólo temor de morir), ideación suicida recurrente sin plan específico o un intento de suicidio o un plan de suicidio específico.
Para que un paciente sea diagnosticado como un caso de depresión severa debe cumplir con al menos 5 de estos criterios (luego ninguno es suficiente por sí solo), pero cualquiera de esos criterios es igualmente válido (luego ninguno es necesario).
La recopilación de textos de Mario Bunge que publica Laetoli bajo el título La pseudociencia ¡Vaya timo! Es un magnífico ejemplo de cómo esta misma lógica puede utilizarse para separar la ciencia de la pseudociencia. Tal vez no haya ninguna característica esencial que las diferencie, pero no por ello dejan de caracterizarse una y otra por diferentes atributos que tienden a aparecer juntos. En el libro de Bunge podemos encontrar varios listados de características habituales de la ciencia. Algunas de las más importantes son (a) que la ciencia tiende a cambiar a medida que avanza, (b) que una ciencia siempre presenta puntos de unión y es consistente con otras disciplinas también científicas, y (c) que la ciencia suele apoyarse en una determinada visión del mundo o filosofía que le es especialmente apta y que se caracteriza entre otras cosas por el realismo (la idea de que la realidad objetiva existe, independientemente de los observadores), el empirismo (la idea de que el conocimiento se basa en hechos observables) y el racionalismo (la idea de que las teorías científicas no pueden contradecirse entre sí o con los hechos).
De modo que si una teoría no cambia con el paso de las décadas, contradice a otras teorías bien asentadas y se protege de las críticas diciendo que la verdad, como la belleza, está en el ojo del que mira, ya sabe, es blanco y en botella. ¿Se le vienen ejemplos a la cabeza?
Desmitificando la psicología
Hans Eysenck, uno de los grandes psicólogos del siglo XX, escribió una vez que es poco probable que haya ninguna materia en la que la ratio entre sentido y sinsentido sea menor que en las cuestiones psicológicas. Es una lástima que medio siglo después de que escribiera aquellas palabras, la afirmación apenas haya perdido vigencia. Afortunadamente, son cada vez más los académicos que se preocupan por poner remedio a esta situación, ayudando a depurar la psicología de mitos sin fundamento alguno y haciendo un esfuerzo por transmitir esta actitud crítica a la población general y a los futuros psicólogos. Entre los varios libros que se han publicado recientemente dentro de esta tendencia, brilla con luz propia el publicado por Scott Lilienfeld, Steven Jay Lynn, John Ruscio y Barry Beyerstein bajo el título 50 mitos de la psicología popular: Las ideas falsas más comunes sobre la conducta humana. Sus páginas abordan algunos de los mitos más esotéricos y descarados, como la idea de que sólo usamos el 10% del cerebro, que escuchar música de Mozart nos hace más inteligentes o que la hipnosis es un método fiable para recuperar recuerdos. Pero también se desmontan creencias erróneas que tal vez por parecer más plausibles han cuajado en nuestro imaginario popular. Por ejemplo, en educación ha ganado crédito la idea de que existen varios estilos de aprendizaje claramente diferenciables y que la docencia es mejor cuando se ajusta al estilo de cada niño. Suena razonable. Pero la evidencia disponible muestra que los programas docentes que se basan en esta idea no funcionan mejor, ni hay tampoco evidencia de que las clasificaciones de estilos de aprendizaje que se manejan tengan validez alguna. Son muchas las ideas como ésta que el boca a boca y los medios de comunicación nos han vendido como ciertas y que ingenuamente nos hemos lanzado a aplicar al mundo educativo y sanitario sin cuestionar antes su veracidad. Si la credulidad fuera una enfermedad, el libro de Lilienfeld, Lynn, Ruscio y Beyerstein sería una excelente vacuna.
Escépticos de mente abierta
Carl Sagan no se cansaba de recordar que para ser un buen científico es necesario mantenerse en el difícil equilibrio entre estar abierto a las nuevas ideas y ser absolutamente escéptico con todas ellas. El libro de Michael Shermer Las fronteras de la ciencia. Entre la ortodoxia y la herejía es un homenaje a los que son capaces de tener la mente abierta sin que el cerebro se les caiga al suelo. Por sus páginas desfilan teorías, autores y descubrimientos (a veces entre comillas) que se sitúan en la delgada línea que separa la ciencia de la pseudociencia. Aunque el libro se ocupa de temas tan diversos como las diferencias raciales en inteligencia, la teoría del equilibrio puntuado, o los orígenes del heliocentrismo, el gran protagonista del libro es Alfred Russel Wallace, al que dedica nada menos que tres de los doce capítulos que componen el libro. Aunque todos conocemos al codescubridor de la teoría de la selección natural, no son tan célebres los escarceos del biólogo con el mundo del espiritismo, la hipnosis y la frenología, que Shermer relata con magistral habilidad en un alarde de erudición. Entre las contribuciones más interesantes del libro está el kit de detección de límites esbozado en la misma introducción. Se trata de diez sencillos criterios que pueden servir para juzgar por nosotros mismos si una teoría innovadora cae en el lado de la ciencia o en el de la pseudociencia. Los reproduzco aquí a modo de decálogo para quienes quieran convertirse al escepticismo razonable:
1/ ¿Hasta qué punto son fiables las fuentes en que se sustenta la nueva afirmación?
2/ ¿Suelen hacer esas fuentes afirmaciones similares?
3/ ¿Han sido verificadas las afirmaciones por otra fuente?
4/ ¿Cómo casa la afirmación con lo que sabemos del mundo y su funcionamiento?
5/ ¿Se ha tomado alguien, incluida la persona que la defiende, la molestia de buscar pruebas que refuten la afirmación, o sólo ha buscado pruebas que la confirmen?
6/ En ausencia de pruebas definitivas, ¿las que existen convergen en las conclusiones de la nueva teoría o en otras?
7/ ¿Recurre quien defiende una teoría a las normas de la razón y a las herramientas de investigación generalmente aceptadas o las sustituye por otras que le permiten llegar a las conclusiones deseadas?
8/ Quien defiende la afirmación, ¿aporta también una explicación distinta de los fenómenos observados o se limita a negar la explicación existente?
9/ Si quienes postulan la nueva afirmación sí plantean una teoría alternativa, ¿explica ésta tantos fenómenos como la anterior?
10/ Las creencias y prejuicios de los que defienden cierta teoría, ¿se basan en las conclusiones de esta teoría o, al contrario, en los propios prejuicios?
De psicólogos y parapsicólogos
Cuando les explico a mis alumnos cómo la psicología se independizó de la filosofía y se constituyó como ciencia experimental en el siglo XIX, es parada obligada dedicar unos segundos a hablar de la primera revista científica especializada en el estudio de la mente. Se llamaba Philosophische Studien. Sí, sí, ha leído bien. En cristiano, Estudios de Filosofía. ¿A quién se le ocurrió ponerle ese nombre a una revista que pretendía ser el estandarte del estudio científico de la mente frente a la especulación filosófica? Lo que le sucedió a Wilhelm Wundt al bautizar a su revista es lo mismo que les pasa hoy a muchos internautas cuando intentan buscarse un nombre de usuario para Twitter: todos los nombres molones están cogidos. Existía ya una revista que se llamaba Psychologische Studien. Pero no tenía nada que ver con la psicología tal y como la entendía Wundt. Se trataba en realidad de una revista dedicada a la parapsicología, el espiritismo y el ocultismo.
Granville Stanley Hall
Las fronteras entre las actuales psicología y parapsicología eran terriblemente difusas a finales del siglo XIX. El mismo nombre se utilizaba con frecuencia para ambas disciplinas. Y no resultaba extraño que un mismo investigador trabajara igualmente en ambos campos. Muchos psicólogos dedicaron buena parte de su trabajo a combatir lo que percibían como una herejía. Pero no faltaron quienes, como William James, estaban entusiasmados con el estudio de lo paranormal y tachaban de fundamentalistas a todos los que de entrada rechazaran la existencia de espíritus y poderes mentales extraordinarios. Para mayor confusión, algunos investigadores que tenían poco o ningún respeto por la parapsicología se aprovechaban sin embargo de sus tenues fronteras con la psicología para encontrar financiación o captar el interés del público. Investigadores como Stanley Hall no dudaron en aceptar los donativos de los ricachones esotéricos siempre que a cambio pudieran sacar un pellizco con el que financiar sus nacientes laboratorios de psicología.
Según un interesante estudio de Deborah Coon publicado en 1992, la psicología salió finalmente fortalecida de su vergonzosa relación con la parapsicología y el espiritismo. En lugar de ignorar a los espiritistas, los psicólogos académicos optaron por presentarse como la autoridad científica responsable de investigar esos fenómenos y establecer qué podía haber de verdadero o falso en ellos. De esta forma se beneficiaron del interés que la población general tenía en estos temas, pero también mantuvieron su estatus de científicos críticos y rigurosos.
Joseph Jastrow
Las afirmaciones de los parapsicólogos se pusieron a prueba en condiciones controladas y se encontraron erróneas. La lucha contra estas ideas se convirtió en una prioridad para las primeras figuras de la psicología, como Hugo Münsterberg, James Angell o Joseph Jastrow. Se desarrolló también toda una nueva línea de investigación, la llamada psychology of deception o psicología del engaño, dedicada a comprender por qué las personas creían en estos fenómenos paranormales. Aparentemente, la ciencia y la razón salieron victoriosas en aquella ocasión.
Me pregunto si no se estará repitiendo la historia a raíz de la reciente publicación del artículo de Bem sobre la percepción extrasensorial. Mi sensación es que sí, que también esta vez el debate fortalecerá finalmente a la psicología científica. Pero eso es material para otro post…
__________
¿Es la psicología una ciencia?
El artículo de Scott Lilienfeld que acaba de publicarse en American Psychologist tiene todos los ingredientes necesarios para convertirse en un clásico de la psicología. Arranca con un duro ataque a la línea de flotación de nuestra disciplina: El público general no aprecia la psicología como ciencia ni como profesión. Los datos que recopila el autor muestran, con poco margen para la duda, que para un porcentaje nada despreciable de la población la psicología ni es una ciencia ni es útil a la sociedad. Y no hablamos aquí de pequeños sectores ni de opiniones minoritarias. En algunos estudios, sólo un 30% de la población considera que la psicología es propiamente una ciencia. Y la mayor parte de los encuestados confían más en economistas, ingenieros, médicos e incluso sacerdotes a la hora de solucionar los problemas más acuciantes de la sociedad. Paradójicamente, estas opiniones públicas pueden provocar el propio declive de la psicología como ciencia, ya que es difícil que una sociedad que desconfía del estatus científico de la psicología opte por financiar el avance de esta disciplina, más aún en tiempos de crisis como los que vivimos.
Entre los argumentos que la gente utiliza para justificar su visión negativa de la psicología, Lilienfeld destaca que los legos suelen ver la psicología como un mero ejercicio de sentido común que no se basa en métodos científicos, que no permite realizar predicciones precisas ni arroja resultados replicables. Mucha gente tampoco espera más de la psicología, puesto que creen que cada ser humano es único y que es inútil intentar dar explicaciones generales para el comportamiento individual.
Algunas de estas críticas obedecen a simples malentendidos y a cierta voluntad de juzgar a la psicología con un rasero diferente del que se usa para evaluar otras disciplinas. Todo el mundo entiende que aunque cada ser humano sea único, la medicina científica es posible porque nos parecemos lo suficiente en unas cuantas cuestiones fundamentales que tienen que ver con cómo funciona nuestro organismo. Sin embargo, la gente encuentra este argumento poco convincente cuando se trata de la psicología. Lo mismo sucede con la dificultad que tienen los psicólogos para hacer predicciones precisas. Nuestras limitaciones en este terreno no son mayores que las de los médicos intentando predecir cuánto tiempo nos queda de vida o los economistas intentando atisbar si subirá o no el IBEX 35 la semana que viene. Pero de nuevo, lo que no mina la confianza en médicos y economistas, sí lo hace en el caso de los psicólogos.
En otros casos, se trata de críticas justamente merecidas por los psicólogos. Por ejemplo, no hemos sabido ser contundentes a la hora de condenar las prácticas pseudocientíficas de nuestros colegas, prácticas que por desgracia son demasiado habituales en algunos sectores profesionales. Si los psicólogos no nos limitamos a utilizar las técnicas diagnósticas y de intervención cuya utilidad está demostrada, si damos cabida a cualquier remedio “milagroso” en nuestro arsenal terapéutico, no podemos quejarnos de que la población general no perciba el carácter científico de la psicología. Cada vez que se inicia un programa que intenta elevar los estándares científicos de la psicología, se alzan voces en contra por parte de muchos profesionales. Cuando estas voces pueden más que la razón y los intereses cortoplacistas de los terapeutas se imponen al rigor científico, la psicología pierde parte de su legitimidad como ciencia.
Los psicólogos que sí que comparten la preocupación porque la psicología sea una ciencia rigurosa son igualmente culpables cuando se callan sus opiniones para sí mismos y no hacen nada por combatir la pseudociencia en su terreno. Si dejamos que sea sólo la voz de los “esotéricos” y charlatanes la que llega al público general, no podemos quejarnos que sea esta nuestra imagen.
Afortunadamente, ninguno de estos problemas carece de solución, y Lilienfeld hace un claro intento por lanzar propuestas concretas. Algunas de estas posibles medidas tienen que ver con lo que el psicólogo puede hacer a nivel individual por su disciplina. Una medida básica es preocuparse por estar bien formado y mantenerse al día sobre los avances científicos de la disciplina y sobre la investigación empírica que subyace a los diversos tratamientos y técnicas diagnósticas. Pero también es importante dedicar parte de nuestro tiempo a la divulgación de la psicología como ciencia y a la creación de una conciencia colectiva sobre su valor añadido para la sociedad. Estas medidas sólo pueden funcionar si las instituciones en su conjunto (muy especialmente las universidades, pero también las asociaciones profesionales) comienzan a valorar la actividad divulgativa de los profesores e investigadores. Hay que sacar a los científicos del laboratorio, y esto sólo comenzará a suceder cuando los centros de investigación les valoren por hacerlo.
__________
¿Ángeles platónicos o criaturas orwellianas?
Si el 14 de Marzo pasas por Teruel y hace mucho frío, no pierdas la ocasión de pasarte por el salón de actos del vicerrectorado de la Universidad de Zaragoza. Estará caliente y además tendrás la oportunidad de escuchar una magnífica conferencia sobre la psicología de la irracionalidad humana a cargo de un servidor. (Bueno, sólo puedo garantizar que la charla será magnífica; lo de que esté calentito no está en mi mano. Veré qué puedo hacer.) La artífice del encuentro es la profesora Sonsoles Valdivia, que ha tenido la amabilidad de invitarme a colaborar en el III Ciclo de Conferencias en Psicología. Hablaremos de homeopatía, de placebos, de productos milagro, de la hipersensibilidad electromagnética, de por qué creemos en todo ello y de si es bueno o malo que así lo hagamos. Ahí es nada. Para despertar el gusanillo, aquí tenéis un pequeño resumen de lo que me propongo contar:
Uno de los pilares de la cultura occidental es la visión del ser humano como una criatura casi angelical, caracterizada fundamentalmente por la racionalidad y la inteligencia. Grandes sectores de la psicología cognitiva actual comparten esta fe en las capacidades humanas. Sin embargo, basta un vistazo a nuestro alrededor para comprobar lo poco racionales que son muchas de nuestras decisiones. Nuestro enorme desarrollo científico y tecnológico no impide que las pseudociencias campen a sus anchas en nuestra sociedad, con consecuencias dramáticas, a veces: las medicinas alternativas ganan terreno ante la medicina convencional, enfermedades casi extintas se convierten de nuevo en epidemias, empresarios sin escrúpulos se hacen de oro vendiendo productos milagro a gran escala… Afortunadamente, la investigación psicológica realizada en las últimas décadas nos permite empezar a entender cuáles son los mecanismos que subyacen a estas creencias supersticiosas. En la presente conferencia intentaré mostrar que estas ilusiones son el producto inevitable de nuestra tendencia a percibir patrones ordenados y con significado en el entorno. Cuando nos enfrentamos a situaciones ambiguas e inciertas, esta tendencia puede llevarnos detectar relaciones de causalidad que en realidad no existen y que son la base sobre la que se construyen muchas de nuestras supersticiones.
Los periodistas que no amaban la verdad
El ejemplar de Mujer hoy que acompaña a El Correo en su edición de esta mañana nos ofrece un ejemplo particularmente triste de cómo la ignorancia puede saltar de cabeza a cabeza, como una peste de piojos, utilizando los medios de comunicación como vector. En la página 68 nos encontramos con el artículo “Grandes hits de la homeopatía”, un pozo de sabiduría que nos revelará cómo acabar con el dolor de muelas, controlar nuestras emociones, prevenir las crisis de pánico o terminar con el resfriado común y la irritación nasal. ¿La solución? Un colorido botiquín de remedios homeopáticos, revestido de la cientificiosidad que proporcionan las cifras 7CH ó 15CH y los latinajos que disfrazan sus envoltorios; por un instante casi los hacen pasar por verdaderas medicinas ante los inocentes ojos del consumidor.
El reportaje sería una broma pesada y de mal gusto si se limitara a decir que 8 de cada 10 homeópatas recomiendan estas soluciones para tratar dolores puntuales o pequeñas afecciones del estado de ánimo. Sin embargo, el autor o autora, apenas puede dejar de espetar alusiones al concepto de “eficacia demostrada” a cada línea del texto. Leemos así afirmaciones como “sus efectos anti-inflamatorios están demostrados”, “si se combina con Gelsium, su efecto mejora notablemente”, “[es] extremadamente efectivo para tratar las angustias vinculadas a la anticipación de un suceso” y, este me encanta, “[es] hipereficaz contra todos los trastornos del sistema digestivo”.
El reportaje no ahorra tinta para expresar lo terriblemente efectivos que son estos potingues, libres de cualquier efecto secundario. Sin embargo, no he podido encontrar por ninguna parte alusión a diversos hechos como que a) los productos homeopáticos sólo contienen su excipiente (nunca tienen un componente activo; de hecho no tienen componentes del tipo que sea, salvo el excipiente), b) ninguno de los muchos y muy buenos meta-análisis realizados con los estudios disponibles muestra que la homeopatía tenga efecto alguno para el tratamiento de cualquier enfermedad o síntoma, más allá del efecto placebo, y c) es normal que así sea, porque para que la homeopatía funcionara, muchas de nuestras teorías físicas y químicas más firmemente establecidas deberían ser falsas.
Si los periodistas y los técnicos de la comunicación tuvieran que formular algo parecido a un juramento hipocrático antes de ejercer su profesión, se me ocurren pocas formas más efectivas de violarlo que publicar reportajes como éste. En la sociedad del conocimiento, los periodistas son un colectivo clave para que la información fluya hacia el ciudadano medio que por falta de tiempo, conocimientos o criterio no puede dedicarse a valorar críticamente cada idea que le llega. La responsabilidad que nos es dado exigir a estos profesionales corre pareja a la creciente importancia de su trabajo en nuestra sociedad. La mala praxis de un periodista que por ignorancia, dejadez o malicia desinforma a sus lectores es tan grave para la sociedad como la de un cirujano que extirpa órganos equivocados u olvida metros de gasas en el cuerpo de sus pacientes. Exigiríamos a estos últimos una compensación por los daños causados. ¿Cuándo empezaremos a hacer lo mismo con los primeros?
Cuando la evidencia científica es contradictoria
En todas las discusiones entre los defensores de una pseudociencia y sus adversarios resulta sorprendente comprobar cómo tanto uno como otro bando defienden tener la evidencia científica de su lado. Esto es particularmente frecuente en las discusiones sobre la eficacia de la homeopatía. Los defensores de esta “terapia” se defienden trayendo a colación los resultados de estudios científicos que observan un efecto beneficioso de la homeopatía, mientras que los escépticos invocan también a la propia ciencia para defender que la homeopatía es un fraude. Este tipo de situaciones invita a pensar que alguien miente. ¿O tal vez no?
Lo cierto es que en cualquier situación en la que el azar juegue un papel importante es perfectamente plausible que la evidencia científica arroje resultados tanto a favor como en contra de una determinada hipótesis. Lo interesante es ver qué sucede cuando se tiene en cuenta toda la evidencia disponible (en lugar de estudios aislados) e intentar encontrar qué variables pueden estar determinando que se observe uno u otro resultado.
Figura 1
En el caso de la homeopatía, disponemos de muchos y muy buenos meta-análisis que proporcionan esta información. Uno de mis favoritos es el publicado por Shang y colaboradores (2005) en The Lancet. Los resultados de ese estudio se pueden resumir con una gráfica como la que puede verse a la izquierda. (Confieso que son datos inventados; pero nadie me negará el parecido con la Figura 2 del artículo de Shang y colaboradores.)
Lo que este gráfico nos muestra es a) que efectivamente hay muchos estudios cuyo resultado sugiere que la homeopatía tiene un efecto terapéutico (puntos por encima de la línea 0), b) que efectivamente hay muchos estudios que muestran que la homeopatía no tuvo efectos (puntos cercanos a la línea 0), y c) que la principal diferencia entre unos y otros es la calidad metodológica del estudio (si se utilizó o no un control de doble ciego, cómo de grande era la muestra…). Si se trata de saber si la homeopatía es efectiva o no, con estos datos debería ser suficiente para obtener una respuesta: No. Los únicos estudios que muestran un efecto son los que tienen problemas metodológicos o muestras muy pequeñas. Cuando se consideran sólo los resultados de los mejores estudios, el efecto terapéutico no es significativamente diferente de 0.
Sin embargo, la gráfica anterior me interesa por un segundo motivo. Es de sentido común que los estudios que se basan en muestras más grandes arrojen datos más seguros. (Por eso ningún científico serio se cree del todo los resultados de ningún estudio con muestras pequeñas.) Cuando las muestras son pequeñas lo normal es que los resultados estén muy influidos por los caprichos del azar y sean por tanto muy variables. Sin embargo, esto no explica por qué en la gráfica anterior se observan resultados sistemáticamente positivos con muestras pequeñas. En otras palabras, ahí no vemos resultados variables, sino resultados consistentemente positivos. ¿A qué podría deberse esto? En realidad se puede deber a muy pocas cosas. Y lo más probable es que se deba a lo siguiente.
Imagina que en lugar de discutir sobre si la homeopatía funciona o no, estamos discutiendo sobre si una moneda está trucada o no. Tú dices que sí lo está, que salen más caras que cruces. Yo digo que no lo está. Así que para descubrir quién tiene razón probamos a tirar la moneda al aire unas cuantas veces. A veces, tiramos la moneda al aire 10 veces y vemos qué pasa. Otras veces tiramos la moneda al aire 15 veces y vemos qué pasa. Otras veces 20, otras 25, y así sucesivamente. Probablemente, si organizamos estos datos en una gráfica como la anterior, obtendremos unos resultados similares a los de la Figura 2.
Figura 2
Es decir, que cuando hacemos tiradas cortas, los resultados son muy variables. A veces obtenemos una proporción de caras muy por encima o muy por debajo de 0.50, aunque la media tiende a mantenerse en 0.50. Cuando hacemos tiradas más largas, los resultados son menos variables: La proporción de caras oscila poco en torno a ese mismo 0.50. ¿Qué sugieren estos datos? Pues que la moneda no está trucada.
Ahora bien, imaginemos que hacemos este experimento de una forma un poco diferente. En primer lugar, imagina que no tenemos una simple curiosidad desinteresada por saber si la moneda está trucada o no, sino que nos jugamos algo en ello. Por ejemplo, tú has apostado 200 euros a que salen más caras que cruces y yo me apuesto lo mismo a que no. Imaginemos además que el encargado de tirar la moneda y ver qué sale eres tú. Lo haces en tu casa y me vas contando por teléfono lo que te sale. Yo voy apuntando lo que me dices en una hoja de Excel y al final tengo una gráfica como la Figura 3.
Figura 3
Así, de buenas a primeras, parece que en la mayor parte de las tiradas hemos sacado más caras que cruces. Parece que tú ganas. Estoy casi tentado de acercarme al cajero para sacar tus 200 euros, cuando caigo en la cuenta de que la Figura 3 es exactamente igual a la 2 salvo que faltan algunos datos contrarios a tu hipótesis. ¿No parece más bien que has ido probando la moneda en casa y me has comentado sólo los resultados de las tiradas que te favorecían?
Efectivamente, cuando tenemos datos como los que aparecen en las Figuras 1 ó 3 podemos sospechar con toda legitimidad que se está omitiendo información. Es decir que los resultados de los ensayos homeopáticos como los que aparecen en la Figura 1 sugieren que no se están publicando todos los datos. Probablemente existen ensayos clínicos con muestras pequeñas que también han encontrado efectos nulos (¡o incluso negativos!) para la homeopatía, pero estos datos nunca han visto la luz.
Por el ejemplo que he utilizado, muchos estarán interpretando que acuso a los investigadores de la homeopatía de esconder a propósito datos que van contra la propia homeopatía. Seguro que algunos lo hacen. Pero no creo que toda la cuestión se pueda achacar a la falta de honestidad científica, ni creo que sea el motivo más importante de esta omisión de datos. Como cualquier investigador sabe, es muy difícil que una revista se anime a publicar estudios cuyo resultado es nulo, estudios donde no se demuestra que algo sea diferente de otra cosa. De la misma forma que “perro muerde a hombre” no es noticia, normalmente demostrar que “el tratamiento A no funciona” o que “el efecto X no se observa” raramente despierta el interés de la comunidad. Yo mismo tengo un archivador repleto de experimentos con resultados de experimentos nulos que nunca serán dados a conocer. Si tuviera la más mínima esperanza de que pudieran publicarse en una revista medianamente digna, ahora mismo estaría exhumándolos del archivo .RAR en el que están enterrados. Pero sé que no es así.
El resultado de esta política es lo que se suele denominar publicación selectiva, un importante problema de la investigación científica. Como se publican sobre todo los estudios que obtienen resultados muy significativos, la literatura científica suele exagerar el tamaño real que tienen algunos efectos. El problema es tan ubicuo que algún estudio ha llegado a sugerir que podría haber publicación selectiva de artículos sobre publicación selectiva (Dubben & Beck-Bornholdt, 2005). Afortunadamente disponemos de las técnicas de meta-análisis para saber cuándo puede estar pasando y para calcular el tamaño del sesgo. ¡Larga vida al meta-análisis!
__________
mvadillo.com 