기댓값은 무게중심, 분산은 퍼짐이다
앞 강에서 분포는 확률의 퍼짐 전체 모양이라고 했다. 그런데 분포 하나를 통째로 들고 다니기는 무겁다. 실무에서는 분포를 딱 두 숫자로 요약해요. 어디쯤에 모여 있나, 그리고 얼마나 넓게 퍼져 있나. 이 두 가지가 기댓값과 분산이다. 기댓값 E[X]는 분포의 중심, 정확히 말하면 무게중심이에요. 분포를 막대들의 무게로 보면 그 막대들이 정확히 균형을 이루는 받침점 자리가 기댓값이다. 평균적으로 이 값 근처가 나온다를 한 점으로 찍은 것이다. 분산은 그 중심에서 값들이 평균적으로 얼마나 멀리 흩어져 있나 하는 퍼짐의 크기다. 같은 중심이라도 옹기종기 모였는지 넓게 퍼졌는지가 완전히 다른 상황이기 때문이에요. 이번 강에서 기댓값을 저울의 균형점으로, 분산을 거리 제곱의 평균으로 직접 만져 보며 분포를 요약하는 두 숫자의 의미를 몸으로 익힌다.
먼저 기댓값을 저울로 느껴 본다. 막대 위에 무게가 서로 다른 추 몇 개를 올려놨는데 큰 추는 무겁고 작은 추는 가볍다. 이 막대가 정확히 균형을 이루는 받침점, 거기가 바로 무게중심이에요. 추를 끌어 옮기면 받침점이 즉시 따라 움직여서 다시 균형을 잡는다. 무거운 추 쪽으로 받침점이 쏠리는 게 보인다. 가벼운 추를 아무리 멀리 보내도 받침점은 별로 안 움직이지만, 무거운 추를 조금만 옮겨도 크게 따라와요. 이게 정확히 기댓값이다. 확률에서 추의 무게는 그 값이 나올 확률이고 추의 위치는 그 값이다. 확률이 높은 값일수록 평균을 세게 끌어당긴다. 그래서 기댓값은 확률이라는 무게로 잰 중심, 분포가 균형을 이루는 단 하나의 점이에요.
그 균형점을 어떻게 계산할까. 가중평균이다. 그냥 값을 다 더해 개수로 나누는 평범한 평균이 아니라, 각 값에 그 값이 나올 확률을 곱해서 더한다. 식으로는 E[X] = Σ x·p(x). 주사위를 예로 들면 정상 주사위는 1부터 6까지 확률이 똑같이 16이라 평균이 3.5예요. 그런데 무게가 한쪽으로 쏠린 편향된 주사위라면 얘기가 달라진다. 막대 높이를 끌어 특정 눈의 확률을 키우면 그 눈이 자주 나오게 되고, 평균 E[X]가 그 눈 쪽으로 끌려가요. 확률이 큰 값일수록 합에 더 크게 기여하기 때문이다. 각 값은 자기 확률만큼의 발언권을 가지고 평균 자리를 두고 줄다리기를 하는 셈이다. 블록 1의 무게중심을 숫자로 옮기면 바로 이 가중합이다. 무게 = 확률, 위치 = 값, 균형점 = Σ x·p(x).
중심을 알았으면 이제 퍼짐을 잰다. 분산이다. 핵심 질문은 값들이 평균에서 평균적으로 얼마나 멀리 떨어져 있나예요. 그냥 거리를 평균 내면 안 된다. 평균보다 큰 쪽은 양수, 작은 쪽은 음수라 서로 상쇄돼 0이 돼 버리기 때문이다. 그래서 거리를 제곱한다. 제곱하면 부호가 사라지고 다 양수가 돼요. 점들을 끌어 흩뜨리면 각 점에서 평균까지의 거리를 한 변으로 하는 정사각형이 그려지고, 그 정사각형의 넓이가 바로 거리의 제곱이다. 분산은 이 모든 정사각형 넓이의 평균이다. 점들이 평균 근처에 옹기종기 모이면 정사각형들이 작아 분산이 작고, 넓게 흩어지면 정사각형들이 커져 분산이 확 커져요. 거리를 제곱했으니 멀리 떨어진 점일수록 훨씬 더 크게 벌을 받는다. 그래서 분산은 극단값에 민감한, 퍼짐의 엄격한 척도다.
분산에는 한 가지 불편함이 있다. 거리를 제곱했으니 단위도 제곱이 돼 버린다. 키를 cm로 쟀다면 분산의 단위는 cm², 넓이 단위예요. 키의 퍼짐이 25 제곱센티미터라니 와닿지가 않는다. 그래서 제곱한 걸 다시 제곱근으로 풀어 주는데, 그게 표준편차다. 표준편차 = √분산이고 단위가 다시 cm로 돌아와 X와 같은 단위가 돼요. 키의 퍼짐이 5cm는 바로 이해된다. 정규곡선에서 σ를 끌어 보면 표준편차 σ가 종 모양 곡선의 자연스러운 폭, 가운데 봉우리에서 어깨가 휘는 지점까지의 거리라는 게 드러난다. σ가 작으면 곡선이 좁고 뾰족하게, 크면 넓고 펑퍼짐하게 변한다. 정리하면 분산 σ²는 계산하기 좋은 제곱 단위의 양이고, 표준편차 σ는 실제로 얼마나 흩어졌나를 원래 단위로 느끼게 해 주는 우리가 일상에서 쓰는 폭이에요.
마지막으로 값에 손을 대면 이 두 숫자가 어떻게 변하는지 본다. 단위 변환이나 보정처럼 X를 aX+b로 바꾸는 일은 아주 흔한데, 섭씨를 화씨로 미터를 피트로 바꿀 때가 그렇다. 슬라이더로 a와 b를 움직여 본다. 먼저 b는 모두에게 같은 값을 더하는 거라 분포를 모양 그대로 옆으로 통째로 밀어요. 그러니 평균도 b만큼 옮겨가지만 퍼진 정도는 하나도 안 변한다. 다 같이 움직였으니 서로의 거리는 그대로이기 때문이다. 반면 a는 늘이거나 줄인다. 평균은 a배가 되고 곡선의 폭도 a배로 늘어난다. 그래서 표준편차는 |a|배, 분산은 거리를 제곱한 양이라 a²배가 돼요. 식으로 E[aX+b]=aE[X]+b, Var(aX+b)=a²Var(X). 더하기는 중심만 옮기고 퍼짐은 그대로, 곱하기는 중심과 퍼짐을 같이 늘이되 분산은 제곱으로 늘어난다. 이 규칙 덕분에 단위를 바꿔도 데이터를 표준화해도 통계량이 어떻게 따라 변할지 머릿속으로 바로 계산할 수 있어요.