Hace pocas semanas publicaba en este mismo blog el resumen de un estudio de Simmons y colaboradores en el que nos mostraban lo fácil que es producir falsos positivos en la investigación científica si se toleran una serie de malas prácticas que probablemente son habituales en los laboratorios de todo el mundo. Cuando apenas nos hemos recuperado del mazazo, Psychological Science vuelve a la carga con un nuevo trabajo en el que se intenta medir precisamente la incidencia real de estas y otras prácticas cuestionables.
En este estudio, John, Loewenstein y Prelec encuestaron a más de 2.000 investigadores preguntándoles (a) si habían incurrido en una serie de malas prácticas (que iban de omitir información sobre algunas variables dependientes hasta falsificar los datos), (b) cómo de justificable les parecía haberlo hecho, (c) qué proporción de psicólogos pensaban que recurría a estas mismas prácticas, y (d) qué porcentaje de esos psicólogos pensaban ellos que reconocería haberlas cometido. Esta última medida es particularmente interesante porque teniendo en cuenta cuántos entrevistados confiesan realizar las prácticas (a) y cuál es la probabilidad de que alguien que las ha cometido las confiese (d), podemos tener una segunda estimación de cuál es la prevalencia real de estas prácticas (c).
Una de las principales novedades del estudio frente a sus precedentes es que para lograr que las respuestas que daban los participantes fueran sinceras, no sólo se aseguraron de que la encuesta fuera completamente anónima, sino que también ensayaron con la mitad de los participantes una técnica que les daba incentivos para ser honestos. Para ello utilizaron un algoritmo Bayesiano (al que llaman “droga de la verdad”) que computa un índice de credibilidad para cada participante basándose en las respuestas que dan sobre sus malas prácticas y las estimaciones de la distribución general de respuestas. Como no se podía pagar a los participantes sinceros sin violar el principio de anonimato, se premió a los participantes honestos haciendo una donación a la asociación que ellos eligieran.
Los autores encontraron que proporcionar estos incentivos para ser honestos incrementaba notablemente el número de “confesiones”, especialmente para las prácticas menos defendibles, tales como falsificar datos. Esto supone que los estudios previos que no han utilizado este tipo de incentivos (e.g., Fanelli, 2009; Martinson, Anderson, & de Vries, 2005) podrían estar subestimando la prevalencia real de las prácticas más graves. Teniendo en cuenta sólo los datos de la condición con incentivos para decir la verdad, los autores estiman que la mayor parte de los investigadores ha incurrido en alguna práctica como publicar selectivamente sólo algunos estudios, omitir información sobre algunas variables dependientes, aumentar muestra más allá de lo proyectado inicialmente, relatar hechos inesperados como si hubieran sido esperados de antemano, y excluir datos con criterios post-hoc. Más aún, según estos datos, uno de cada diez científicos ha introducido datos falsos en el registro científico. Separando los datos por áreas de investigación, se observa que estas prácticas son más frecuentes en psicología cognitiva, neurociencias y psicología social. Sin embargo, la incidencia parece ser menor entre los psicólogos clínicos.
Como señalan John y sus colaboradores, tal vez la consecuencia más triste de esta tendencia es que la mediocridad genera más mediocridad. A corto plazo, recurrir a estas prácticas hace que los currículums de los investigadores engorden a una velocidad vertiginosa y que las revistas de psicología aparezcan plagadas de artículos inusualmente elegantes. Cada día es más obvio para la comunidad científica que se trata sólo de una falsa ilusión de progreso que se construye sobre publicaciones selectivas y resultados poco o nada replicables. Pero esto no impide que poco a poco se vayan imponiendo unos cánones de productividad científica que sólo pueden alcanzarse cayendo en el pecado. Nos esperan malos tiempos si la única forma de estar a la altura como científico pasa por prostituir los propios pilares de la ciencia.
__________
mvadillo.com 
Pingback: Presintiendo el futuro… de la psicología « de mente