많이 뽑을수록 평균은 기댓값으로 모인다

동전 던지기의 앞면을 1, 뒷면을 0 으로 세면 기댓값은 E[X] = 0.5 이고, 주사위라면 눈의 평균이 E[X] = 3.5 다. 던진 횟수를 늘리면 그때까지의 누적 평균이 그려져요. 처음 몇 번은 크게 출렁이지만, 횟수가 커질수록 곡선은 점선으로 표시된 기댓값에 착 달라붙는다. 같은 씨앗을 쓰니 언제 열어도 똑같은 경로가 나와요. 출렁임이 잦아든다.

정사각형 [0,1]×[0,1] 에 다트를 마구 던진다. 원점 중심, 반지름 1 인 사분원 안에 떨어진 다트의 비율은 그 넓이 π/4 에 수렴해요. 그래서 안에 든 비율에 4 를 곱하면 원주율의 추정값이 나온다. 다트 개수를 늘리면 점이 촘촘해지고 추정값이 3.14159 로 좁혀져요. 무작위 표본으로 넓이를 재는 이 방식이 몬테카를로 적분의 씨앗이다. 점이 넓이를 잰다.

많이 뽑으면 좋아지긴 하는데, 얼마나 빨리 좋아질까요. 추정 오차를 횟수에 대해 그려 보면, 오차는 대략 1/√n의 속도로 줄어든다. 오차를 절반으로 줄이려면 표본을 네 배로 늘려야 한다는 뜻이에요. 보조선을 1/√n과 1/n으로 바꿔 보면, 실제 오차는 빠른 1/n이 아니라 느린 1/√n을 따라간다. 정확도가 비싸다는 사실이 여기서 드러난다. 느린 쪽이 실제 속도다.

한 걸음 더 나아가면, 수렴하는 것은 평균 하나만이 아니다. 표본의 히스토그램 전체가 모집단의 확률밀도 곡선으로 다가가요. 개수가 작으면 막대가 울퉁불퉁하지만, 개수를 키우면 막대의 윤곽이 매끈한 밀도곡선 위에 겹쳐진다. 종 모양과 고른 모양을 바꿔 가며 확인할 수 있어요. 이것이 히스토그램으로 분포의 모양을 읽는 근거다. 막대가 곡선을 닮아 간다.

무작위인데 어떻게 늘 같은 그림이 나올까요. 우리 난수는 씨앗 하나로 정해지는 결정적 수열이라, 같은 씨앗은 같은 경로를 다시 만든다. 씨앗을 바꾸면 초반의 출렁임은 저마다 다르지만, 모든 경로가 결국 같은 기댓값 0.5 로 모여요. 무작위성은 경로를 다르게 하고, 큰 수의 법칙은 목적지를 같게 한다. 그래서 실험은 재현 가능하면서도 보편적인 결론을 준다. 길은 달라도 끝은 같다.