La American Statistical Association se pronuncia sobre el uso de los valores-p

Hace un par de días, la Asociación de Estadística de Estados Unidos publicó un comunicado con la intención de poner orden en el uso (y desuso) de los llamados valores-p (p-values en inglés) en el contexto amplio de la práctica y de las publicaciones científicas. La Asociación, fundada en 1839 en Boston, Massachusetts, es la principal organización profesional en Estados Unidos que engloba a estadísticos y a otros profesionales de ramas afines; entre sus cometidos están promover la correcta aplicación de la estadística. El comunicado va dirigido a investigadores, científicos y periodistas/divulgadores científicos no necesariamente estadísticos, y pretende dar respuesta a múltiples voces que en los últimos años han venido alertando sobre el mal uso de esta herramienta tan extendida, véase esta referencia (Nature), ésta (artículo de Ioannidis), o ésta (FiveThirtyEight). En este blog también, recientemente yo misma escribí sobre este tema tan fundamental.

Es la primera vez que la ASA se ha tomado la molestia de elaborar y publicar oficialmente unas directrices respecto a la praxis estadística. La manera en que usamos la estadística afecta a todas áreas de la ciencia: desde la economía, psicología, …, hasta la medicina. Es la herramienta que nos sirve para sacar conclusiones basadas en datos, y por eso es una pieza elemental en la actividad científica.

La ASA concluye su documento diciendo que -traduzco literalmente: “La buena práctica estadística, como componente esencial de una buena práctica científica, hace hincapié en los principios de un diseño adecuado de los estudios, de una buena conducta, y de llevar a cabo una variedad de resúmenes numéricos y gráficos de los datos, una comprensión del fenómeno en estudio, y una interpretación de los resultados completa, enmarcada en su contexto”.

Antes de pasar a dejaros el enlace, me gustaría destacar aquí algunos de los punto del documento:

Empecemos por el principio, ¿qué es un valor-p? Antes de nada, el documento intenta aclararlo en términos informales: “es la probabilidad, bajo un determinado modelo estadístico, de que un resumen de los datos (por ejemplo, la diferencia media de una medida entre dos grupos comparados entre sí en una muestra) sea igual o mayor que el valor efectivamente observado. En mi opinión sigue siendo una definición demasiado técnica, que no aclara gran cosa a quien no sepa ya de estadística; pero sinceramente, no sabría cómo simplificarlo.

Bueno, pues en cuanto a este “bicho” (el valor-p) tan popularizado a lo largo de la comunidad científica, la ASA dice que:

nunca mide la probabilidad de una hipótesis concreta; lo que mide es el grado en el que los datos (con sus sesgos, errores y limitaciones) están acordes con dicha hipótesis, lo cual es distinto.
Las conclusiones científicas y las decisiones de negocios o políticas concretas no pueden basarse solamente en el hecho de si un valor-p pasa o no un determinado umbral (i.e. el tan manido p<0.05)
Sacar conclusiones adecuadas requiere que seamos transparentes con el análisis de datos y el planteamiento y alcance del estudio, y que hagamos un informe completo y no sólo parcial de nuestro proceso inferencial (no vale con “trastear con los datos” hasta obtener un valor-p inferior a 0.05, hay que explicar, de principio a fin, el proceso que nos ha llevado a concluir lo que decimos que se concluye con esos datos)
Un valor-p, o la significación estadística, no mide el tamaño de un efecto o la importancia de un resultado. Pensad en el caso más extremo: con una muestra grande de datos todos los valores-p saldrán pequeños, y eso no demuestra nada
Solo con el valor-p no podemos valorar el grado de evidencia con respecto a un modelo o hipótesis, necesitamos algo más (necesitamos siempre el contexto).
A la vista del desuso generalizado de los valores-p, algunos estadísticos han propuesto dejar de utilizarlos, o sustituirlos por otros enfoques tales como las técnicas Bayesianas. Estos enfoques pueden servir para abordar de forma directa el tamaño de un efecto (y su incertidumbre asociada), o si la hipótesis de estudio es correcta.

Y sin más dilación, os dejamos con el documento.

http://amstat.tandfonline.com/doi/pdf/10.1080/00031305.2016.1154108