Los periodistas que no amaban la verdad

El ejemplar de Mujer hoy que acompaña a El Correo en su edición de esta mañana nos ofrece un ejemplo particularmente triste de cómo la ignorancia puede saltar de cabeza a cabeza, como una peste de piojos, utilizando los medios de comunicación como vector. En la página 68 nos encontramos con el artículo “Grandes hits de la homeopatía”, un  pozo de sabiduría que nos revelará cómo acabar con el dolor de muelas, controlar nuestras emociones, prevenir las crisis de pánico o terminar con el resfriado común y la irritación nasal. ¿La solución? Un colorido botiquín de remedios homeopáticos, revestido de la cientificiosidad que proporcionan las cifras 7CH ó 15CH y los latinajos que disfrazan sus envoltorios; por un instante casi los hacen pasar por verdaderas medicinas ante los inocentes ojos del consumidor.

El reportaje sería una broma pesada y de mal gusto si se limitara a decir que 8 de cada 10 homeópatas recomiendan estas soluciones para tratar dolores puntuales o pequeñas afecciones del estado de ánimo. Sin embargo, el autor o autora, apenas puede dejar de espetar alusiones al concepto de “eficacia demostrada” a cada línea del texto. Leemos así afirmaciones como “sus efectos anti-inflamatorios están demostrados”, “si se combina con Gelsium, su efecto mejora notablemente”, “[es] extremadamente efectivo para tratar las angustias vinculadas a la anticipación de un suceso” y, este me encanta, “[es] hipereficaz contra todos los trastornos del sistema digestivo”.

El reportaje no ahorra tinta para expresar lo terriblemente efectivos que son estos potingues, libres de cualquier efecto secundario. Sin embargo, no he podido encontrar por ninguna parte alusión a diversos hechos como que a) los productos homeopáticos sólo contienen su excipiente (nunca tienen un componente activo; de hecho no tienen componentes del tipo que sea, salvo el excipiente), b) ninguno de los muchos y muy buenos meta-análisis realizados con los estudios disponibles muestra que la homeopatía tenga efecto alguno para el tratamiento de cualquier enfermedad o síntoma, más allá del efecto placebo, y c) es normal que así sea, porque para que la homeopatía funcionara, muchas de nuestras teorías físicas y químicas más firmemente establecidas deberían ser falsas.

Si los periodistas y los técnicos de la comunicación tuvieran que formular algo parecido a un juramento hipocrático antes de ejercer su profesión, se me ocurren pocas formas más efectivas de violarlo que publicar reportajes como éste. En la sociedad del conocimiento, los periodistas son un colectivo clave para que la información fluya hacia el ciudadano medio que por falta de tiempo, conocimientos o criterio no puede dedicarse a valorar críticamente cada idea que le llega. La responsabilidad que nos es dado exigir a estos profesionales corre pareja a la creciente importancia de su trabajo en nuestra sociedad. La mala praxis de un periodista que por ignorancia, dejadez o malicia desinforma a sus lectores es tan grave para la sociedad como la de un cirujano que extirpa órganos equivocados u olvida metros de gasas en el cuerpo de sus pacientes. Exigiríamos a estos últimos una compensación por los daños causados. ¿Cuándo empezaremos a hacer lo mismo con los primeros?

Advertisements

Cuando la evidencia científica es contradictoria

En todas las discusiones entre los defensores de una pseudociencia y sus adversarios resulta sorprendente comprobar cómo tanto uno como otro bando defienden tener la evidencia científica de su lado. Esto es particularmente frecuente en las discusiones sobre la eficacia de la homeopatía. Los defensores de esta “terapia” se defienden trayendo a colación los resultados de estudios científicos que observan un efecto beneficioso de la homeopatía, mientras que los escépticos invocan también a la propia ciencia para defender que la homeopatía es un fraude. Este tipo de situaciones invita a pensar que alguien miente. ¿O tal vez no?

Lo cierto es que en cualquier situación en la que el azar juegue un papel importante es perfectamente plausible que la evidencia científica arroje resultados tanto a favor como en contra de una determinada hipótesis. Lo interesante es ver qué sucede cuando se tiene en cuenta toda la evidencia disponible (en lugar de estudios aislados) e intentar encontrar qué variables pueden estar determinando que se observe uno u otro resultado.

Figura 1

En el caso de la homeopatía, disponemos de muchos y muy buenos meta-análisis que proporcionan esta información. Uno de mis favoritos es el publicado por Shang y colaboradores (2005) en The Lancet. Los resultados de ese estudio se pueden resumir con una gráfica como la que puede verse a la izquierda. (Confieso que son datos inventados; pero nadie me negará el parecido con la Figura 2 del artículo de Shang y colaboradores.)

Lo que este gráfico nos muestra es a) que efectivamente hay muchos estudios cuyo resultado sugiere que la homeopatía tiene un efecto terapéutico (puntos por encima de la línea 0), b) que efectivamente hay muchos estudios que muestran que la homeopatía no tuvo efectos (puntos cercanos a la línea 0), y c) que la principal diferencia entre unos y otros es la calidad metodológica del estudio (si se utilizó o no un control de doble ciego, cómo de grande era la muestra…). Si se trata de saber si la homeopatía es efectiva o no, con estos datos debería ser suficiente para obtener una respuesta: No. Los únicos estudios que muestran un efecto son los que tienen problemas metodológicos o muestras muy pequeñas. Cuando se consideran sólo los resultados de los mejores estudios, el efecto terapéutico no es significativamente diferente de 0.

Sin embargo, la gráfica anterior me interesa por un segundo motivo. Es de sentido común que los estudios que se basan en muestras más grandes arrojen datos más seguros. (Por eso ningún científico serio se cree del todo los resultados de ningún estudio con muestras pequeñas.) Cuando las muestras son pequeñas lo normal es que los resultados estén muy influidos por los caprichos del azar y sean por tanto muy variables. Sin embargo, esto no explica por qué en la gráfica anterior se observan resultados sistemáticamente positivos con muestras pequeñas. En otras palabras, ahí no vemos resultados variables, sino resultados consistentemente positivos. ¿A qué podría deberse esto? En realidad se puede deber a muy pocas cosas. Y lo más probable es que se deba a lo siguiente.

Imagina que en lugar de discutir sobre si la homeopatía funciona o no, estamos discutiendo sobre si una moneda está trucada o no. Tú dices que sí lo está, que salen más caras que cruces. Yo digo que no lo está. Así que para descubrir quién tiene razón probamos a tirar la moneda al aire unas cuantas veces. A veces, tiramos la moneda al aire 10 veces y vemos qué pasa. Otras veces tiramos la moneda al aire 15 veces y vemos qué pasa. Otras veces 20, otras 25, y así sucesivamente. Probablemente, si organizamos estos datos en una gráfica como la anterior, obtendremos unos resultados similares a los de la Figura 2.

Figura 2

Es decir, que cuando hacemos tiradas cortas, los resultados son muy variables. A veces obtenemos una proporción de caras muy por encima o muy por debajo de 0.50, aunque la media tiende a mantenerse en 0.50. Cuando hacemos tiradas más largas, los resultados son menos variables: La proporción de caras oscila poco en torno a ese mismo 0.50. ¿Qué sugieren estos datos? Pues que la moneda no está trucada.

Ahora bien, imaginemos que hacemos este experimento de una forma un poco diferente. En primer lugar, imagina que no tenemos una simple curiosidad desinteresada por saber si la moneda está trucada o no, sino que nos jugamos algo en ello. Por ejemplo, tú has apostado 200 euros a que salen más caras que cruces y yo me apuesto lo mismo a que no. Imaginemos además que el encargado de tirar la moneda y ver qué sale eres tú. Lo haces en tu casa y me vas contando por teléfono lo que te sale. Yo voy apuntando lo que me dices en una hoja de Excel y al final tengo una gráfica como la Figura 3.

Figura 3

Así, de buenas a primeras, parece que en la mayor parte de las tiradas hemos sacado más caras que cruces. Parece que tú ganas. Estoy casi tentado de acercarme al cajero para sacar tus 200 euros, cuando caigo en la cuenta de que la Figura 3 es exactamente igual a la 2 salvo que faltan algunos datos contrarios a tu hipótesis. ¿No parece más bien que has ido probando la moneda en casa y me has comentado sólo los resultados de las tiradas que te favorecían?

Efectivamente, cuando tenemos datos como los que aparecen en las Figuras 1 ó 3 podemos sospechar con toda legitimidad que se está omitiendo información. Es decir que los resultados de los ensayos homeopáticos como los que aparecen en la Figura 1 sugieren que no se están publicando todos los datos. Probablemente existen ensayos clínicos con muestras pequeñas que también han encontrado efectos nulos (¡o incluso negativos!) para la homeopatía, pero estos datos nunca han visto la luz.

Por el ejemplo que he utilizado, muchos estarán interpretando que acuso a los investigadores de la homeopatía de esconder a propósito datos que van contra la propia homeopatía. Seguro que algunos lo hacen. Pero no creo que toda la cuestión se pueda achacar a la falta de honestidad científica, ni creo que sea el motivo más importante de esta omisión de datos. Como cualquier investigador sabe, es muy difícil que una revista se anime a publicar estudios cuyo resultado es nulo, estudios donde no se demuestra que algo sea diferente de otra cosa. De la misma forma que “perro muerde a hombre” no es noticia, normalmente demostrar que “el tratamiento A no funciona” o que “el efecto X no se observa” raramente despierta el interés de la comunidad. Yo mismo tengo un archivador repleto de experimentos con resultados de experimentos nulos que nunca serán dados a conocer. Si tuviera la más mínima esperanza de que pudieran publicarse en una revista medianamente digna, ahora mismo estaría exhumándolos del archivo .RAR en el que están enterrados. Pero sé que no es así.

El resultado de esta política es lo que se suele denominar publicación selectiva, un importante problema de la investigación científica. Como se publican sobre todo los estudios que obtienen resultados muy significativos, la literatura científica suele exagerar el tamaño real que tienen algunos efectos. El problema es tan ubicuo que algún estudio ha llegado a sugerir que podría haber publicación selectiva de artículos sobre publicación selectiva (Dubben & Beck-Bornholdt, 2005). Afortunadamente disponemos de las técnicas de meta-análisis para saber cuándo puede estar pasando y para calcular el tamaño del sesgo. ¡Larga vida al meta-análisis!

__________

Dubben, H.-H., & Beck-Bornholdt, H.-P. (2005). Systematic review of publication bias in studies on publication bias. British Medical Journal, 331, 433–434.

Shang, A., Huwiler-Müntener, K., Nartey, L., Jüni, P., Dörig, S., Sterne, J. A. C., Pewsner, D., & Egger, M. (2005). Are the clinical effects of homeopathy placebo effects? Comparative study of placebo-controlled trials of homeopathy and allopathy. The Lancet, 366, 726-732.