귀무가설을 세우고 놀라움을 잰다
실험을 해서 신약이 효과가 있어 보이거나, 새 알고리즘이 더 빨라 보여도, 그것만으로는 확신할 수 없어요. 우연히 그렇게 나왔을 수도 있으니까요. 그래서 통계는 법정처럼 움직여요. 먼저 아무 효과도 없다는 회의적인 기본 입장, 귀무가설 H0를 세워요. 그리고 묻죠. 정말 H0가 참이라면, 지금 우리가 본 데이터가 나올 일이 얼마나 드문가. 만약 H0가 참인데도 이 정도 결과가 나올 확률이 아주 작다면, H0를 유지하기가 어색해져요. 그래서 H0를 기각하고 대립가설 H1을 받아들여요. 핵심은 데이터가 참을 증명하는 게 아니라, 우연으로 설명하기엔 너무 놀라운지를 재는 거예요. 앞 강에서 표본평균이 어떻게 흩어지는지(표집분포)와 그 흩어짐으로 참값 범위를 어떻게 잡는지(신뢰구간)를 봤어요. 이번엔 같은 종 모양을 놀라움을 재는 자로 써요.
첫걸음은 두 가설을 명확히 세우는 거예요. 귀무가설 H0는 언제나 등호로, 아무 차이도 없다고 못 박아요(예: 평균 = μ0). 대립가설 H1은 우리가 보이고 싶은 주장이고요. H1은 세 가지 모양이 가능해요. 한쪽으로 크다(오른쪽), 한쪽으로 작다(왼쪽), 아니면 그냥 다르다(양측). 슬라이더로 H1의 중심을 H0에서 떨어뜨려 보고, 토글로 방향을 골라 보세요. H0의 종에서 색칠된 꼬리가 곧 놀라운 결과가 떨어질 자리예요. 양측이면 양쪽 꼬리, 한쪽 검정이면 한쪽 꼬리만 봐요. 어느 쪽을 의심하는지는 데이터를 보기 전에 미리 정해야 공정해요.
가설을 세웠으면, 데이터를 하나의 숫자로 요약해서 H0의 종 위에 올려놔야 해요. 그 숫자가 검정통계량이에요. 여기서는 표본평균 x̄를 표준화해요. z = (x̄ − μ0) / SE. 뜻은 간단해요. 관측된 평균이 H0의 기준값 μ0에서 표준오차 SE 몇 개만큼 떨어졌나. SE는 앞 강의 표집분포 폭, 즉 σ/√n이에요. 슬라이더로 관측 평균을 바꾸면 z가 표준정규 종 위에서 움직여요. z가 0 근처면 H0와 잘 맞고, z가 크면(2, 3처럼) 중심에서 멀리 벗어난 드문 자리로 가요. 이렇게 어떤 단위의 데이터든 z 하나로 바꾸면, 모두 같은 표준 종 위에서 비교할 수 있어요.
이제 놀라움을 숫자로 바꿔요. p값은 H0가 참이라고 가정했을 때, 지금 관측된 것만큼 또는 그보다 더 극단적인 결과가 나올 확률이에요. 그림에서는 H0의 종 아래, 관측 통계량 바깥쪽 꼬리 넓이예요. 슬라이더로 관측값을 바깥으로 밀수록 꼬리가 얇아지고 p가 작아져요. p가 작다는 건, H0가 참인 세상에서는 이런 데이터가 좀처럼 안 나온다는 뜻이라 더 놀라운 거예요. 한 가지 꼭 짚을 게 있어요. p값은 H0가 참일 확률이 아니에요. 어디까지나 H0를 참이라 가정한 조건부 확률이에요. 이 방향을 헷갈리면 통계를 완전히 잘못 읽게 돼요.
얼마나 작아야 충분히 작은 걸까요? 그 기준선을 미리 정한 게 유의수준 α예요. 흔히 0.10, 0.05, 0.01을 써요. α는 H0의 종에서 기각역, 즉 H0를 버릴 만큼 극단적인 꼬리 영역의 넓이예요. 그 경계값이 임계값 z*이고요. 규칙은 간단해요. 관측 통계량이 임계값을 넘으면(즉 p < α이면) H0를 기각하고, 못 넘으면 기각하지 못해요. 토글로 α를 바꾸면 임계선이 움직이고, 슬라이더로 관측값이 그 선을 넘나들 때 판정이 뒤집히는 걸 보세요. α를 작게 잡을수록 기각의 문턱이 높아져서, 어지간히 놀랍지 않으면 H0를 못 버려요. 그래서 α는 우리가 감수할 헛경보의 비율을 미리 정하는 손잡이예요.
판정에는 두 가지 실수가 숨어 있어요. 제1종 오류는 사실 H0가 참인데도 기각하는 것, 즉 헛경보(거짓 양성)예요. 그 확률이 바로 α고, H0 종에서 임계값 바깥 넓이예요. 제2종 오류는 사실 H1이 참인데 H0를 못 버리는 것, 즉 놓침(거짓 음성)이에요. 그 확률이 β고, H1 종에서 임계값 안쪽 넓이예요. 토글로 두 오류를 번갈아 보고, 슬라이더로 진짜 효과크기를 키워 보세요. 효과가 클수록 H1 종이 오른쪽으로 멀어져서 β가 줄고, 검정력(1 − β)이 커져요. 검정력은 정말 효과가 있을 때 그걸 제대로 잡아낼 확률이에요. α를 줄이면 헛경보는 줄지만 β가 늘어 놓침이 많아지는 맞교환이 있어요. 그래서 표본을 늘려 SE를 줄이는 게 두 오류를 동시에 줄이는 정공법이에요.