Asume la nula y luego mide la sorpresa
Haz un experimento y un fármaco nuevo parece eficaz, o un algoritmo nuevo parece más rápido, y aun así eso por sí solo no basta para estar seguro. Pudo haber salido así por azar. Por eso la estadística funciona como un tribunal. Primero fijamos una postura escéptica por defecto, la hipótesis nula H0, que dice que no hay ningún efecto. Luego preguntamos: si H0 fuera de verdad cierta, ¿qué tan raro sería ver los datos que acabamos de ver? Si la probabilidad de un resultado tan extremo bajo H0 es muy pequeña, mantener H0 se vuelve incómodo, así que rechazamos H0 y aceptamos la alternativa H1. La clave es que los datos no prueban lo que es cierto; miden si el resultado es demasiado sorprendente para explicarlo por azar. Antes vimos cómo se dispersa la media muestral (la distribución muestral) y cómo esa dispersión acota un rango para el valor verdadero (el intervalo de confianza). Ahora usamos la misma campana como regla para medir la sorpresa.
El primer paso es enunciar las dos hipótesis con claridad. La nula H0 es siempre una igualdad, que clava el "sin diferencia" (por ejemplo, media = μ0). La alternativa H1 es la afirmación que queremos mostrar. H1 puede tomar tres formas: mayor por un lado (derecha), menor por un lado (izquierda), o simplemente distinta (bilateral). Mueve el deslizador para alejar el centro de H1 de H0, y usa el interruptor para elegir la dirección. La cola sombreada de la campana nula es donde caería un resultado sorprendente: ambas colas si es bilateral, una sola cola si es unilateral. Qué lado sospechas debe decidirse antes de mirar los datos, para que la prueba sea justa.
Una vez fijadas las hipótesis, resumimos los datos en un solo número y lo colocamos sobre la campana nula. Ese número es el estadístico de prueba. Aquí estandarizamos la media muestral x̄: z = (x̄ − μ0) / SE. Su significado es simple: cuántos errores estándar SE se aleja la media observada del valor nulo μ0. SE es el ancho de la distribución muestral de la lección anterior, es decir σ/√n. Mueve el deslizador para cambiar la media observada y z se desliza sobre la campana normal estándar. Un z cerca de 0 encaja bien con H0; un z grande (como 2 o 3) cae en un punto raro, lejos del centro. Al convertir datos de cualquier unidad en un solo z, todo puede compararse sobre la misma campana estándar.
Ahora convertimos la sorpresa en un número. El valor p es la probabilidad, suponiendo que H0 es cierta, de obtener un resultado tan extremo como el observado o más. En la figura es el área de la cola de la campana nula más allá del estadístico observado. Empuja el valor observado más afuera con el deslizador y la cola se adelgaza y p se encoge. Un p pequeño significa que en un mundo donde H0 es cierta, datos como estos rara vez ocurren, y por eso sorprenden más. Hay que subrayar una cosa: el valor p no es la probabilidad de que H0 sea cierta. Es una probabilidad condicional que supone, de entrada, que H0 es cierta. Si confundes esa dirección, lees la estadística completamente mal.
¿Qué tan pequeño es suficientemente pequeño? La línea trazada de antemano es el nivel de significancia α. Opciones comunes son 0.10, 0.05, 0.01. α es el área de la región de rechazo en la cola de la campana nula, lo bastante extrema como para abandonar H0, y su borde es el valor crítico z*. La regla es simple: si el estadístico observado cruza el valor crítico (es decir, si p < α) rechazamos H0; si no, no podemos rechazar. Cambia α con el interruptor y la línea crítica se mueve; desliza el valor observado a través de esa línea y observa cómo se invierte el veredicto. Cuanto más pequeño sea α, más alto el listón para rechazar, así que H0 sobrevive salvo que los datos sorprendan bastante. Así que α es la perilla que fija, de antemano, la tasa de falsas alarmas que estamos dispuestos a aceptar.
Dos errores se esconden dentro del veredicto. Un error tipo I es rechazar H0 cuando H0 es en realidad cierta, una falsa alarma (falso positivo). Su probabilidad es exactamente α, el área más allá del valor crítico bajo la campana nula. Un error tipo II es no abandonar H0 cuando H1 es en realidad cierta, un fallo (falso negativo). Su probabilidad es β, el área dentro del valor crítico bajo la campana alternativa. Usa el interruptor para ver los dos errores por turno, y el deslizador para aumentar el tamaño del efecto verdadero. Cuanto mayor sea el efecto, más se aleja hacia la derecha la campana de H1, así que β se encoge y la potencia (1 − β) crece. La potencia es la probabilidad de detectar correctamente un efecto real cuando lo hay. Bajar α reduce las falsas alarmas pero sube β y deja pasar más fallos, un compromiso. Por eso agrandar la muestra para reducir SE es la forma honesta de reducir ambos errores a la vez.