기댓값은 무게중심, 분산은 퍼짐이다
앞 강에서 분포는 확률이 퍼진 전체 모양이라고 했다. 그런데 분포 하나를 통째로 들고 다니기는 무겁다. 실무에서는 분포를 딱 두 숫자로 요약해요. 어디쯤에 모여 있는지, 그리고 얼마나 넓게 퍼져 있는지다. 이 둘이 기댓값과 분산이다. 기댓값 E[X]는 분포의 중심, 정확히 말하면 무게중심이에요. 분포를 막대들의 무게로 보면, 그 막대들이 정확히 균형을 이루는 받침점 자리가 기댓값이다. 평균적으로 이 값 근처가 나온다는 것을 한 점으로 찍은 셈이다. 분산은 그 중심에서 값들이 평균적으로 얼마나 멀리 흩어져 있는지를 나타내는 퍼짐의 크기다. 중심이 같아도 옹기종기 모였는지 넓게 퍼졌는지는 완전히 다른 상황이기 때문이에요. 이 강에서는 기댓값을 저울의 균형점으로, 분산을 거리 제곱의 평균으로 직접 만져 보며 분포를 요약하는 두 숫자의 뜻을 몸으로 익힌다.
먼저 기댓값을 저울로 느껴 본다. 금색 막대 위에 무게가 서로 다른 추 네 개가 올라가 있고, 추마다 적힌 숫자가 그 무게다. 막대가 정확히 균형을 이루는 받침점, 그 자리가 바로 무게중심이에요. 추를 끌어 옮기면 아래의 금색 받침점이 곧바로 따라 움직여 다시 균형을 잡는다. 받침점이 무거운 추 쪽으로 쏠리는 것이 보인다. 가벼운 추를 아무리 멀리 보내도 받침점은 별로 움직이지 않지만, 무거운 추는 조금만 옮겨도 받침점이 크게 따라와요. 이것이 정확히 기댓값이다. 확률에서 추의 무게는 그 값이 나올 확률이고, 추의 위치는 그 값이다. 확률이 높은 값일수록 평균을 세게 끌어당긴다. 그래서 기댓값은 확률이라는 무게로 잰 중심, 분포가 균형을 이루는 단 하나의 점이에요.
그 균형점은 어떻게 계산할까. 가중평균이다. 값을 다 더해 개수로 나누는 보통의 평균이 아니라, 각 값에 그 값이 나올 확률을 곱해 더한다. 식으로는 E[X] = Σ x·p(x). 주사위를 예로 들면, 정상 주사위는 1부터 6까지 확률이 똑같이 16이라 평균이 3.5예요. 그런데 무게가 한쪽으로 쏠린 편향된 주사위라면 이야기가 달라진다. 막대 높이를 끌어 특정 눈의 확률을 키우면 그 눈이 자주 나오게 되고, 아래의 파란 삼각형과 평균 E[X]가 그 눈 쪽으로 끌려가요. 확률이 큰 값일수록 합에 더 크게 이바지하기 때문이다. 각 값이 자기 확률만큼의 발언권을 가지고 평균 자리를 두고 줄다리기를 하는 셈이다. 앞 블록의 저울을 숫자로 옮기면 바로 이 가중합이다. 무게 = 확률, 위치 = 값, 균형점 = Σ x·p(x).
중심을 알았으니 이제 퍼짐을 잰다. 분산이다. 핵심 질문은 값들이 평균에서 평균적으로 얼마나 멀리 떨어져 있느냐예요. 그냥 거리를 평균 내면 안 된다. 평균보다 큰 쪽은 양수, 작은 쪽은 음수라 서로 상쇄되어 0이 돼 버리기 때문이다. 그래서 거리를 제곱한다. 제곱하면 부호가 사라지고 모두 양수가 돼요. 파란 점들을 끌어 흩뜨리면, 각 점에서 금색 점선으로 표시된 평균까지의 거리를 한 변으로 하는 정사각형이 그려지고, 그 정사각형의 넓이가 바로 거리의 제곱이다. 분산은 이 모든 정사각형 넓이의 평균이다. 점들이 평균 근처에 옹기종기 모이면 정사각형들이 작아 분산이 작고, 넓게 흩어지면 정사각형들이 커져 분산이 확 커져요. 거리를 제곱했으니 멀리 떨어진 점일수록 훨씬 더 크게 벌을 받는다. 그래서 분산은 극단값에 민감한, 퍼짐의 엄격한 척도다.
분산에는 한 가지 불편함이 있다. 거리를 제곱했으니 단위도 제곱이 돼 버린다. 키를 cm로 쟀다면 분산의 단위는 cm², 곧 넓이 단위예요. 키의 퍼짐이 25 제곱센티미터라고 하면 와닿지 않는다. 그래서 제곱한 것을 다시 제곱근으로 풀어 주는데, 그것이 표준편차다. 표준편차 = √분산이고, 단위가 다시 cm로 돌아와 원래 값과 같은 단위가 돼요. 키의 퍼짐이 5cm라고 하면 바로 이해된다. 아래 트랙에서 σ를 끌면 표준편차 σ가 종 모양 곡선의 자연스러운 폭이라는 것이 드러나고, 곡선 위의 파란 자가 가운데에서 양쪽으로 σ씩 뻗은 폭을 표시한다. σ는 봉우리에서 곡선의 어깨가 꺾이는 지점까지의 거리이기도 하다. σ가 작으면 곡선이 좁고 뾰족해지고, 크면 넓고 펑퍼짐해진다. 정리하면 분산 σ²는 계산하기 좋은 제곱 단위의 양이고, 표준편차 σ는 실제로 얼마나 흩어졌는지를 원래 단위로 느끼게 하는, 우리가 일상에서 쓰는 폭이에요.
마지막으로 값에 손을 대면 이 두 숫자가 어떻게 변하는지 본다. 단위 변환이나 보정처럼 X를 aX+b로 바꾸는 일은 아주 흔한데, 섭씨를 화씨로, 미터를 피트로 바꿀 때가 그렇다. 아래 두 트랙으로 a와 b를 움직이면 회색 점선의 원래 분포 옆에 금색의 바뀐 분포가 그려진다. 먼저 b는 모든 값에 같은 수를 더하는 일이라 분포를 모양 그대로 옆으로 통째로 밀어요. 그러니 평균도 b만큼 옮겨 가지만 퍼진 정도는 조금도 변하지 않는다. 다 같이 움직였으니 서로의 거리는 그대로이기 때문이다. 반면 a는 늘이거나 줄인다. 평균은 a배가 되고 곡선의 폭도 a배로 늘어난다. 그래서 표준편차는 |a|배, 분산은 거리를 제곱한 양이라 a²배가 돼요. 식으로는 E[aX+b]=aE[X]+b, Var(aX+b)=a²Var(X)다. 더하기는 중심만 옮기고 퍼짐은 그대로 두며, 곱하기는 중심과 퍼짐을 함께 늘이되 분산은 제곱으로 늘린다. 이 규칙 덕분에 단위를 바꾸거나 데이터를 표준화해도 통계량이 어떻게 따라 변할지 머릿속에서 바로 계산할 수 있어요.