En todas las discusiones entre los defensores de una pseudociencia y sus adversarios resulta sorprendente comprobar cómo tanto uno como otro bando defienden tener la evidencia científica de su lado. Esto es particularmente frecuente en las discusiones sobre la eficacia de la homeopatía. Los defensores de esta “terapia” se defienden trayendo a colación los resultados de estudios científicos que observan un efecto beneficioso de la homeopatía, mientras que los escépticos invocan también a la propia ciencia para defender que la homeopatía es un fraude. Este tipo de situaciones invita a pensar que alguien miente. ¿O tal vez no?
Lo cierto es que en cualquier situación en la que el azar juegue un papel importante es perfectamente plausible que la evidencia científica arroje resultados tanto a favor como en contra de una determinada hipótesis. Lo interesante es ver qué sucede cuando se tiene en cuenta toda la evidencia disponible (en lugar de estudios aislados) e intentar encontrar qué variables pueden estar determinando que se observe uno u otro resultado.
Figura 1
En el caso de la homeopatía, disponemos de muchos y muy buenos meta-análisis que proporcionan esta información. Uno de mis favoritos es el publicado por Shang y colaboradores (2005) en The Lancet. Los resultados de ese estudio se pueden resumir con una gráfica como la que puede verse a la izquierda. (Confieso que son datos inventados; pero nadie me negará el parecido con la Figura 2 del artículo de Shang y colaboradores.)
Lo que este gráfico nos muestra es a) que efectivamente hay muchos estudios cuyo resultado sugiere que la homeopatía tiene un efecto terapéutico (puntos por encima de la línea 0), b) que efectivamente hay muchos estudios que muestran que la homeopatía no tuvo efectos (puntos cercanos a la línea 0), y c) que la principal diferencia entre unos y otros es la calidad metodológica del estudio (si se utilizó o no un control de doble ciego, cómo de grande era la muestra…). Si se trata de saber si la homeopatía es efectiva o no, con estos datos debería ser suficiente para obtener una respuesta: No. Los únicos estudios que muestran un efecto son los que tienen problemas metodológicos o muestras muy pequeñas. Cuando se consideran sólo los resultados de los mejores estudios, el efecto terapéutico no es significativamente diferente de 0.
Sin embargo, la gráfica anterior me interesa por un segundo motivo. Es de sentido común que los estudios que se basan en muestras más grandes arrojen datos más seguros. (Por eso ningún científico serio se cree del todo los resultados de ningún estudio con muestras pequeñas.) Cuando las muestras son pequeñas lo normal es que los resultados estén muy influidos por los caprichos del azar y sean por tanto muy variables. Sin embargo, esto no explica por qué en la gráfica anterior se observan resultados sistemáticamente positivos con muestras pequeñas. En otras palabras, ahí no vemos resultados variables, sino resultados consistentemente positivos. ¿A qué podría deberse esto? En realidad se puede deber a muy pocas cosas. Y lo más probable es que se deba a lo siguiente.
Imagina que en lugar de discutir sobre si la homeopatía funciona o no, estamos discutiendo sobre si una moneda está trucada o no. Tú dices que sí lo está, que salen más caras que cruces. Yo digo que no lo está. Así que para descubrir quién tiene razón probamos a tirar la moneda al aire unas cuantas veces. A veces, tiramos la moneda al aire 10 veces y vemos qué pasa. Otras veces tiramos la moneda al aire 15 veces y vemos qué pasa. Otras veces 20, otras 25, y así sucesivamente. Probablemente, si organizamos estos datos en una gráfica como la anterior, obtendremos unos resultados similares a los de la Figura 2.
Figura 2
Es decir, que cuando hacemos tiradas cortas, los resultados son muy variables. A veces obtenemos una proporción de caras muy por encima o muy por debajo de 0.50, aunque la media tiende a mantenerse en 0.50. Cuando hacemos tiradas más largas, los resultados son menos variables: La proporción de caras oscila poco en torno a ese mismo 0.50. ¿Qué sugieren estos datos? Pues que la moneda no está trucada.
Ahora bien, imaginemos que hacemos este experimento de una forma un poco diferente. En primer lugar, imagina que no tenemos una simple curiosidad desinteresada por saber si la moneda está trucada o no, sino que nos jugamos algo en ello. Por ejemplo, tú has apostado 200 euros a que salen más caras que cruces y yo me apuesto lo mismo a que no. Imaginemos además que el encargado de tirar la moneda y ver qué sale eres tú. Lo haces en tu casa y me vas contando por teléfono lo que te sale. Yo voy apuntando lo que me dices en una hoja de Excel y al final tengo una gráfica como la Figura 3.
Figura 3
Así, de buenas a primeras, parece que en la mayor parte de las tiradas hemos sacado más caras que cruces. Parece que tú ganas. Estoy casi tentado de acercarme al cajero para sacar tus 200 euros, cuando caigo en la cuenta de que la Figura 3 es exactamente igual a la 2 salvo que faltan algunos datos contrarios a tu hipótesis. ¿No parece más bien que has ido probando la moneda en casa y me has comentado sólo los resultados de las tiradas que te favorecían?
Efectivamente, cuando tenemos datos como los que aparecen en las Figuras 1 ó 3 podemos sospechar con toda legitimidad que se está omitiendo información. Es decir que los resultados de los ensayos homeopáticos como los que aparecen en la Figura 1 sugieren que no se están publicando todos los datos. Probablemente existen ensayos clínicos con muestras pequeñas que también han encontrado efectos nulos (¡o incluso negativos!) para la homeopatía, pero estos datos nunca han visto la luz.
Por el ejemplo que he utilizado, muchos estarán interpretando que acuso a los investigadores de la homeopatía de esconder a propósito datos que van contra la propia homeopatía. Seguro que algunos lo hacen. Pero no creo que toda la cuestión se pueda achacar a la falta de honestidad científica, ni creo que sea el motivo más importante de esta omisión de datos. Como cualquier investigador sabe, es muy difícil que una revista se anime a publicar estudios cuyo resultado es nulo, estudios donde no se demuestra que algo sea diferente de otra cosa. De la misma forma que “perro muerde a hombre” no es noticia, normalmente demostrar que “el tratamiento A no funciona” o que “el efecto X no se observa” raramente despierta el interés de la comunidad. Yo mismo tengo un archivador repleto de experimentos con resultados de experimentos nulos que nunca serán dados a conocer. Si tuviera la más mínima esperanza de que pudieran publicarse en una revista medianamente digna, ahora mismo estaría exhumándolos del archivo .RAR en el que están enterrados. Pero sé que no es así.
El resultado de esta política es lo que se suele denominar publicación selectiva, un importante problema de la investigación científica. Como se publican sobre todo los estudios que obtienen resultados muy significativos, la literatura científica suele exagerar el tamaño real que tienen algunos efectos. El problema es tan ubicuo que algún estudio ha llegado a sugerir que podría haber publicación selectiva de artículos sobre publicación selectiva (Dubben & Beck-Bornholdt, 2005). Afortunadamente disponemos de las técnicas de meta-análisis para saber cuándo puede estar pasando y para calcular el tamaño del sesgo. ¡Larga vida al meta-análisis!
__________
mvadillo.com 
Muy buena entrada.
Yo aportaría una idea más, una variante de los partidarios de la homeopatía que no abrazan la metodología científica sino que la minimizan en base a supuestos disparatados. Vendría a ser algo así: “La eficacia de la homeopatía no puede demostrarse mediante ensayos clínicos porque los ensayos tratan a todas las personas igual y el tratameinto homeopático se hace de forma individualizada, tratando al individuo como un todo y blablablablaguauguau…”
Recuerdo un reciente documental dirigido por L.A.Gámez donde entrevistaba a un farmacéutico que dispensaba homeopatía (desgraciendamente hoy día esto no es una excepción sino una norma), el muchacho le contaba el rollo este de que en la homeopatía el tratamiento es individualizado. Entonces el entrevistador le preguntaba que si el tratamiento se hacia de diferente manera según cada paciente, cómo era posible que los medicamentos homeopáticos se fabricasen en lotes de miles. El farmacéutico no sabe responderle. Está claro, si el tratamiento homeopático fuera individualizado, el pseudomedicamento utilizado también lo sería, por tanto abría que hacer un “caramelito Boiron” para cada crédulo que así lo requisiera. Y sabemos que no es así http://bit.ly/H8BOBZ
Por cierto, ve descomprimiendo tus estudios fallidos o nulos porque aquí podrás publicarlos. http://www.arjournals.com/ojs/
Saludos
Hola Katxu! Sí, recuerdo aquel momentazo de Escépticos! (Pobre hombre… Lo que se habrá arrepentido después de aquello…). Lo curioso es que en principio nada en el método científico impide que se ponga a prueba la validez de tratamientos individualizados. Siempre que las pautas para decidir cómo evaluar a cada paciente y cómo asignarle un tratamiento estén claras y sean homogéneas, se podría comparar a ese grupo con una condición de control y los resultados serían extrapolables al conjunto de los homeópatas que utilizaran ese mismo sistema. De alguna forma, también la medicina ortodoxa es personaliza: a diferencia de lo que se hacía hace 200 años, que todo se curaba con potingues parecidos, ahora tenemos tratamientos distintos para cada dolencia, e incluso para pacientes que tienen la misma dolencia pero difieren en alguna otra característica. En realidad, creo que nuestra medicina científica es muchísimo más personalizada que la homeopatía (sobre todo, si es de la que se saca de un tarrito de Boiron, claro!)
Me apunto lo de los estudios fallidos! Se me ocurren un par de líneas de investigación que tenemos con las que podemos llenar un volumen! :-(
Por cierto, menudo “abría” que me he marcado. No editar comentarios es la perdición para los que, como yo, andamos regular con la “hortografía” últimamente. ;)
Eso es de tuitear y ahorrar caracteres, que llega un momento que se automatiza! ;) La verdad es que no me había dado ni cuenta… Cómo estamos!
El artículo es simple y bien escrito, pero esta una falacia ad-hominem:
“Por el ejemplo que he utilizado, muchos estarán interpretando que acuso a los investigadores de la homeopatía de esconder a propósito datos que van contra la propia homeopatía. Seguro que algunos lo hacen.”
¿mvadillo afirmas que de todas formas los investigadores en homeopatía lo hacen (ocultan información)? parece que esto es una acusación sesgada, en cualquier investigación científica de la que sea, podríamos aplicar el mismo criterio ¿O quién nos asegura que todos los artículos de las revistas no hayan ocultado datos?
Respecto al artículo de Shang, olvidas mencionar las críticas al mismo. Y el sesgo de parte de un anti homeopatía Mattias Egger.
Hola Magufo, Muchas gracias por tu comentario. La acusación que hago suena más “fuerte” de lo que realmente pretende ser. Un montón de estudios (muchos, comentados en el blog en fechas posteriores) muestran que por desgracia es muy habitual que los investigadores de casi todas las áreas se guarden datos de experimentos que “no han salido”. Cuando un estudio no obtiene los resultados deseados, lo más racional sería darle a esos datos el peso que se merecen. Pero siempre hay explicaciones alternativas para la ausencia de resultados: puede que el estudio no tuviera el suficiente poder estadístico, puede que se dieran malas instrucciones a los participantes, puede haber algún otro sesgo no controlado… Estas “sospechas” de que algo ha podido ir mal nunca surgen cuando los resultados del estudio son los que esperaba el autor. Esto acaba resultado en un fuerte sesgo de publicación que parte de las mejores intenciones del investigador. A eso hay que sumarle que las revistas casi nunca publican estudios con resultados nulos (salvo que un resultado nulo sea muy sorprendente por alguna razón; tal vez porque se trata de un efecto que se daba por sentado que existía). En definitiva, lo que intento decir en mi post es que este tipo de sesgos tan “humanos” que se observan en muchas áreas de la ciencia, también influyen en áreas como la investigación homeopática. Sí que creo que el caso es más grave en este último caso, porque en el resto de áreas cuando estos problemas existen y los meta-análisis así lo indican, toda la comunidad científica reconoce que efectivamente hay un problema y que hay que hacer algo al respecto o reconsiderar la validez de los estudios previos. Sin embargo, nada de esto parece estar sucediendo en el mundo de la práctica homeopática. De hecho, como bien comentas, existen numerosos artículos que critican todos los meta-análisis que se han hecho sobre la homeopatía (porque señalan que los resultados son en realidad nulos), pero esto no es habitual en la mayor parte de áreas, donde cuando un meta-análisis habla, la gente se lo suele tomar más en serio y suele reconsiderar el valor de ese área de investigación en lugar de criticar la validez del propio meta-análisis. Los meta-análisis con conclusiones claramente contrarias a un supuesto muy generalizado, suelen provocar cambios profundos en las opiniones de la comunidad científica (aunque muchas veces se a regañadientes), pero no tengo la impresión de que esto haya pasado en el mundo de la homeopatía. En cualquier caso, tampoco es mi intención generalizar. Supongo que hay gente de todo tipo en todas las áreas…
En realidad no me refiero a los supuestos artículos que critican todos los meta-análisis sobre homeopatía. El meta estudio de Shang incluso es curioso por que demuestra que la homeopatía es efectiva para infecciones del tracto (URTI) incluso cuando señalan que estos estudios no poseen evidencia de sesgo [razón de momios es 0.36, con un C.I. 95% (rangos de 0.26-00.50)] pero decidieron que su estudio “muestra sesgos” para no aceptar la evidencia. Ése punto interesante por que omitieron incluso un meta estudio de Reilly (2000) publicado en el BMJ donde se analizan 4 estudios contra rinitis alérgica, y se realizó un estudio multi-céntrico a doble ciego.
Otro punto llamativo es que ellos declaran que los estudios en homeopatía (8) son de mucho mejor calidad que los de medicina convencional (6). Lo que de hecho refuta el propio argumento de los críticos de que los estudios clínicos en homeopatía son de mala calidad en general.
Dos re-análisis demostraron que el estudio de Shang no es incorrecto en los puntos anteriores, aunque se demostró que falisificarón la hipótesis nula cuando incluyeron un estudio grande.
Un comentario mas, en realidad las revistas CAM suelen publicar estudios negativos con total normalidad.. Esto ha servido para someter a discusión y evaluación los resultados y poder obtener una revisión mas objetiva. De hecho ya se ha demostrado sin lugar a dudas este año que las diluciones homeopáticas retienen mediante clusters la estructura del soluto original (todo con el rigor de métodos a doble ciegas, 20 años de trabajo en varios artículos publicados en revistas arbitradas) mediante RMN. Otros estudios interesantes se dan con las técnicas de Citometría de flujo, Raman, Microscopia TEM, y por métodos indirectos en sistemas biológicos. Por poner ejemplos, en 2004, 4 laboratorios independientes mediante un método a triple ciego demostraron que altas diluciones de histamina poseen efectos, lo que reivindica el estudio multicéntrico de Benveniste. En 2004 un equipo en Rusia logró replicar los hallazgos de Benveniste. Eso es tan solo una micra de lo que realmente sucede en la homeopatía.
Dudó que eso pueda llamarse “pseudociencia” a secas.
Pingback: Saltar a la pata coja no mejora la lectura: la terapia de integración sensorial | Si tú supieras…