많이 뽑을수록 평균은 기댓값으로 모인다
동전을 몇 번만 던지면 앞면 비율이 들쭉날쭉하지만, 수천 번 던지면 0.5 근처로 착 가라앉아요. 표본을 많이 모을수록 표본평균이 참된 기댓값 E[X]로 모여드는 이 성질이 큰 수의 법칙이에요. 그리고 이 법칙을 거꾸로 쓰면, 직접 계산하기 어려운 값을 무작위 표본으로 추정할 수 있어요. 이것이 몬테카를로 방법이죠. 다섯 그림에서 평균이 수렴하는 모습, 다트로 원주율을 맞히는 모습, 오차가 1/√n로 줄어드는 속도, 히스토그램이 밀도곡선이 되는 과정, 그리고 씨앗이 달라도 극한은 같다는 사실을 차례로 봐요.
동전 던지기의 앞면을 1, 뒷면을 0으로 세면 기댓값은 E[X] = 0.5이고, 주사위라면 눈의 평균이 E[X] = 3.5예요. 던진 횟수 n을 슬라이더로 늘리면 그때까지의 누적 평균이 그려져요. 처음 몇 번은 크게 출렁이지만, n이 커질수록 곡선은 점선으로 표시된 기댓값에 착 달라붙어요. 같은 씨앗을 쓰니 언제 열어도 똑같은 경로가 나와요.
정사각형 [0,1]×[0,1]에 다트를 마구 던져요. 원점 중심 반지름 1인 사분원 안에 떨어진 다트의 비율은 그 넓이 π/4에 수렴해요. 그래서 안에 든 비율에 4를 곱하면 π의 추정값이 나와요. 다트 개수 n을 늘리면 점이 촘촘해지고 추정값이 3.14159로 좁혀져요. 무작위 표본으로 넓이를 재는 이 방식이 몬테카를로 적분의 씨앗이에요.
많이 뽑으면 좋아지긴 하는데, 얼마나 빨리 좋아질까요. 추정 오차 |추정값 - 참값|을 n에 대해 그려보면, 오차는 대략 1/√n의 속도로 줄어들어요. 이 말은 오차를 절반으로 줄이려면 표본을 네 배로 늘려야 한다는 뜻이에요. 보조선을 1/√n과 1/n으로 바꿔보면, 실제 오차는 빠른 1/n이 아니라 느린 1/√n을 따라가요. 정확도가 비싸다는 것을 보여주죠.
한 걸음 더 나아가면, 수렴하는 것은 평균 하나만이 아니에요. 표본 n개의 히스토그램 전체가 모집단의 확률밀도 곡선으로 다가가요. n이 작으면 막대가 울퉁불퉁하지만, n을 키우면 막대의 윤곽이 매끈한 밀도곡선 위에 겹쳐져요. 정규분포와 균등분포를 바꿔가며 확인해 봐요. 이것이 히스토그램으로 분포의 모양을 읽는 근거예요.
무작위인데 어떻게 늘 같은 그림이 나올까요. 우리 난수는 씨앗 하나로 정해지는 결정적 수열이라, 같은 씨앗은 같은 경로를 다시 만들어요. 씨앗을 바꾸면 초반의 출렁임은 저마다 다르지만, 모든 경로가 결국 같은 기댓값 0.5로 모여요. 무작위성은 경로를 다르게 하고, 큰 수의 법칙은 목적지를 같게 해요. 그래서 실험은 재현 가능하면서도 보편적인 결론을 줘요.