Imagina que quiero convencerte de que soy un as jugando a los dardos. Para demostrártelo te enseño una grabación de video en la que tiro a diana diez veces y acierto en todas ellas. Impresionante, ¿verdad? Sólo hay una cosa que no termina de convencerte. Entre una y otra tirada hay un corte en la grabación. De repente se te ocurre pensar que a lo mejor he tirado los dardos 1000 veces y sólo te estoy enseñando las diez ocasiones en las que he acertado. Mi proeza ya no te impresiona tanto.
Por desgracia esta estratagema se utiliza recurrentemente en casi cualquier área de investigación científica, muchas veces sin que las propias personas que la practican se den cuenta de sus nefastas consecuencias. Es muy habitual que los investigadores realicen varios experimentos para poner a prueba sus hipótesis o que analicen de diferentes maneras los datos de cada experimento y que después sólo mencionen en el artículo aquellos experimentos o análisis que arrojaron los mejores resultados. Muchas veces son las propias revistas científicas las que piden directamente a los investigadores que quiten del artículo experimentos con resultados “feos”, poco concluyentes o redundantes. La consecuencia de todo ello es que buena parte de los resultados científicos que podemos encontrar en la literatura científica podrían ser falsos positivos, fruto del puro azar y nada más, como las diez dianas que conseguí a costa de hacer 1000 tiradas.
Este problema ha alcanzado dimensiones preocupantes en las últimas décadas, con secuelas mucho más graves en unos ámbitos que en otros. El libro de Ben Goldacre Bad Pharma, traducido al castellano con el poco agraciado nombre de Mala Farma, es la mejor introducción a las repercusiones de esta política de investigación en el ámbito de la medicina y la farmacología. Cuando las grandes compañías farmacéuticas ponen a prueba la eficacia de sus medicinas, es frecuente que realicen múltiples ensayos clínicos o que analicen los efectos de estas sustancias sobre diferentes indicadores de salud. Cada vez que se realiza un nuevo ensayo clínico se está tirando un dardo a la diana. Si en un estudio no sólo se mide cómo afecta la medicina al corazón, sino también cómo afecta a los pulmones y al páncreas, entonces en ese estudio se han tirado tres dardos. A base de tirar más y más dardos, en algún momento los investigadores “encontrarán” algo. A lo mejor resulta que en el quinto ensayo clínico se observó que la sustancia S producía una reducción significativa de las nauseas matutinas en las embarazadas mayores de 37 años. Lo más probable es que la farmacéutica publique sólo este estudio, sin mencionar que se hicieron otros cuatro ensayos clínicos antes con resultados nulos o que en la muestra había también otros grupos de edad para los que la mejoría no fue significativa. El resultado de estas prácticas es que la literatura científica proporciona una imagen distorsionada de la eficacia de muchos medicamentos.
Afortunadamente, el libro de Goldacre ha provocado tal revuelo que al menos en el Reino Unido se están empezando a tomar medidas para poner fin a esta situación. Si alguna vez te has preguntado si la divulgación científica sirve para algo, Bad Pharma es la prueba de que sí: a veces los divulgadores pueden cambiar el mundo para mejor. Una lectura imprescindible.
mvadillo.com 
Pingback: La publicación selectiva perjudica seriamente la salud
Reblogueó esto en PaKmAnBlog.
La afirmación final de tu artĺculo es como tirar mil dardos y que uno haya dado en el blanco, sin desmerecer dicha afirmación que me parece mas que razonable.
Hola Pepe. En el caso de la divulgación científica tomada en su conjunto, sí, posiblemente tengas razón: es una diana entre mil disparos. En el caso concreto de Goldacre creo que está bien reconocerle el mérito. Está combatiendo muy activamente esta situación de todas las formas posibles. Y, más aún, está intentando llevar este tipo de política basada en la evidencia a todos los ámbitos. Por ejemplo, hace poco acabo de saber que está apoyando que las reformas educativas se basen en estudios experimentales realizados por los propios centros que las van a implementar. Ojalá tuviéramos más gente así…
Cuando leí esta entrada de la bitácora, hacía muy poco que acababa de leer un artículo en “Mente y Cerebro” donde también se hablaba de esta cuestión. Copio los párrafos relativos a ello:
“A lo largo de los años, docenas de parapsicólogos han afirmado que poseen pruebas empíricas que constatan la percepción extrasensorial. Para que la ciencia progrese, otros experimentadores han de reproducir tales resultados. Aquí tropezamos con el núcleo del problema: en el mundo de las publicaciones científicas, los estudios originales consiguen, a menudo, salir a la luz, en cambio, las replicaciones fallidas permanecen en la oscuridad. En consecuencia, a los lectores
les llega solo una parte de la historia.
“En 2010, el parapsicólogo Daryl J. Bem, en la actualidad profesor emérito de la Universidad Cornell, dio a conocer en una destacada revista de psicología una serie de experimentos que parecían respaldar la existencia de la precognición. Exponía en su articulo varios estudios, los cuales habian contado con la participacion de más de 1000 probandos. En uno de los experimentos, los sujetos debían mencionar las palabras que recordaban de una lista que se les había mostrado previamente. A continuación se les enseñaba una serie de vocablos extraídos de forma aleatoria del listado original. De modo misterioso, los resultados revelaron que los sujetos recordaban en mayor proporción las palabras que se les iban a presentar por segunda vez. En otras palabras, parecía que su recordación estaba influida por las palabras que iban a ver en el futuro.
“En 2011, Stuart Ritchie y Chris French de Goldsmiths, de las universidades de Edimburgo y de Londres, respectivamente, y quien escribe intentamos reproducir los controvertidos hallazgos de Bem. Cada uno de nosotros, por separado y de forma independiente, efectuó una replicación del experimento de recordación precognitiva (el propio Bem nos sugirió, de una serie de ensayos, cuál sería más asequible de reproducir). Amablemente, nos facilitó los programas informáticos que había utilizado en su estudio. Por nuestra parte, nos esforzamos en repetir sus métodos y la situación experimental.
“Los tres estudios, sin excepción, ofrecieron resultados nulos. Ello nos lleva a pensar que los parapsicólogos no han descubierto todavía su Santo Grial, esto es, un efecto replicable. No obstante, cuando presentamos nuestros resultados para su publicación, varias revistas se negaron a valorar el articulo bajo el argumento de que no difundían intentos de reproducción de experimentos. Consideramos que tales políticas constituyen un problema, no solo para los aspectos ramales de la psicología (caso de la parapsicología), sino para el curso principal. Si se quiere verificar que un efecto es genuino, es fundamental que otros científicos traten de reproducirlo en sus laboratorios y puedan divulgar los resultados de su trabajo. Las revistas científicas, al negarse a publicar los intentos de replicación, convierten en prácticamente imposible la evaluación de un descubrimiento, es decir, dejan tanto a los psicólogos como al público general con la errónea impresión de que un efecto es más robusto de lo que en realidad es.”
Richard Wiseman: “La superstición en la mente”, Mente y Cerebro nº 64 (enero 2014).
[http://www.investigacionyciencia.es/mente-y-cerebro/numeros/2014/1/la-supersticin-en-la-mente-11740]
F.J. Ledo
Efectivamente, las revistas no tienen ningún interés en publicar réplicas de otros experimentos… ni reanálisis de sus datos. Esta es una parte fundamental del problema. Si dedicas parte de tu trabajo a cuestionar lo que otros hacen, replicar sus experimentos… no vas a publicar nada de esto en revistas buenas. Ese trabajo no va a dejar ninguna huella en tu CV. Y eso te pasará factura cuando te presentes a plazas o cuando pidas proyectos. Como consecuencia, hasta ahora nadie se ha dedicado a cuestionar lo que hacían los demás. No salía rentable…
Pingback: Magapsine 28/01/2014 | dronte.es
Yo no etiquetaría este libro como ‘divulgación científica’, sino más bien como periodismo puro y duro. Así que no creo que haya sido la divulgación científica la responsable de los posibles cambios en la sociedad que comentas en el post.
Un abrazo!
Sí, puede ser. De todas formas, por el camino el lector aprende qué es un meta-análisis, cómo funciona el sistema de revisión por pares… Pongamos que es “periodismo divulgativo” ;)