표본에서 잰 값도 흔들린다

버튼을 누르면 표본이 새로 뽑힌다. 같은 모집단에서 크기가 같은 표본을 뽑는데도 그 평균 x̄ 는 매번 조금씩 다르다. 한 번 뽑아 한 점, 또 뽑아 또 한 점, 이렇게 표본평균들을 계속 쌓아 히스토그램으로 모으면, 처음엔 들쭉날쭉하다가 점점 가운데가 봉긋한 산 모양으로 자리를 잡아요. 이 쌓여 가는 분포가 바로 표집분포, 표본평균이라는 통계량이 그리는 자기만의 분포다. 재는 대상인 모집단 평균은 고정돼 있는데, 그것을 추정하는 도구인 표본평균이 흔들린다는 점이 중요해요. 그 흔들림의 모양과 폭을 아는 것이 이번 강의 전부다. 도구가 흔들린다.

이제 두 분포를 나란히 본다. 넓게 퍼진 쪽은 원자료 하나하나가 흩어진 모습이고, 그 폭이 모집단의 표준편차다. 그 위에 좁게 솟은 쪽은 크기 n 표본들의 평균이 흩어진 모습이고, 훨씬 촘촘히 가운데로 모여요. 평균을 내는 과정에서 큰 값과 작은 값이 서로 상쇄되기 때문에, 평균은 개별 값보다 훨씬 덜 흔들린다. 이 좁은 폭이 바로 표준오차인데, 표준편차와 이름이 비슷하지만 전혀 다른 양이에요. 표준편차는 개체가 얼마나 다른가를, 표준오차는 그 개체들의 평균이 얼마나 못 미더운가를 말한다. 크기를 키우면 넓은 쪽은 그대로인데 좁은 쪽만 점점 더 좁아진다. 평균이 흔들림을 줄인다.

이제 그 폭을 식으로 못 박는다. 표준오차는 표준편차를 제곱근으로 나눈 것이다. 분모에 개수가 아니라 그 제곱근이 있다는 게 핵심이에요. 크기를 키우면 곡선을 따라 표준오차가 떨어지지만, 처음엔 뚝뚝 떨어지다가 갈수록 완만해진다. 크기를 4배로 늘려야 표준오차가 절반이 되고, 오차를 10분의 1로 줄이려면 표본을 100배 모아야 해요. 이 제곱근의 벽 때문에 정밀도를 높이는 데는 점점 더 큰 비용이 든다. 그래서 어느 지점부터는 표본을 더 늘리는 것보다 측정 자체를 개선하는 편이 낫다. 데이터가 많을수록 좋지만 그 이득이 √n 의 속도로만 자란다는 것을 아는 게 실전 감각이에요. 이득이 느리게 자란다.

지금까지는 모집단이 종 모양이라 좀 봐준 셈이다. 그럼 대놓고 한쪽으로 치우친 분포라면 어떨까요. 여기 지수분포는 0 근처에 몰려 있고 오른쪽으로 긴 꼬리를 끄는, 전혀 대칭이 아닌 분포다. 크기가 1일 때 표본평균의 분포는 이 치우친 원본 그대로예요. 그런데 크기를 키우면 놀라운 일이 벌어진다. 원천이 이렇게 비뚤어져 있는데도 표본평균의 분포는 점점 좌우대칭 종 모양으로 다가가고, 정규곡선에 들어맞는다. 이것이 중심극한정리의 표집분포 얼굴이에요. normal-clt에서 값을 더하면 종이 된다고 봤다면, 여기서는 그 합을 나눈 평균의 분포가 원본 모양과 무관하게 N(μ, σ/√n) 로 수렴하는 것을 본다. 그래서 모집단 모양을 몰라도 표본평균만큼은 정규분포로 다룰 수 있어요. 모양이 달라도 평균은 종이다.

마지막으로 표본 크기가 표집분포에 미치는 효과를 직접 겹쳐 본다. 넓은 쪽은 작은 표본 n=4 의 평균 분포로 널찍하고, 좁은 쪽은 키워 가는 큰 표본의 평균 분포예요. 크기를 올릴수록 좁은 쪽은 점점 좁고 높게 솟으며 참평균 둘레로 조여든다. 두 분포의 중심은 똑같이 겹치지만 폭만 제곱근의 속도로 줄어드는 것이다. 실전에서 뜻하는 바는 분명해요. 표본이 크면 추정값이 참값에 더 가까이, 더 자주 떨어진다는 것, 곧 추정이 더 정밀하다는 뜻이다. 여론조사와 임상시험과 품질검사가 표본 크기를 늘리는 이유가 바로 이 그림에 있다. 다만 3강에서 봤듯 그 이득은 제곱근으로만 자라니, 얼마나 좁혀야 충분한지는 늘 비용과 저울질해요. 비용과 정밀을 같이 본다.