분포는 확률의 퍼짐이다
앞 강에서 확률은 넓이라고 했다. 그런데 사건 하나의 확률만 말하면 그림의 절반이에요. 진짜 궁금한 건 어떤 값이 얼마나 잘 나오는지, 확률이 가능한 값들 위에 어떻게 퍼져 있는지다. 그 퍼짐의 전체 모양이 분포다. 주사위 두 개의 합은 7 근처가 자주 나오고 2나 12는 드물다. 이 자주와 드물게의 전체 지도가 분포이고, 막대그래프로 그리면 봉우리가 보여요. 값이 띄엄띄엄한 이산이면 막대 하나하나가 확률이고, 값이 연속이면 막대가 무한히 촘촘해지며 매끄러운 곡선인 밀도가 된다. 여기서 결정적인 한 가지가 있어요. 연속분포에서는 곡선의 높이가 확률이 아니라 곡선 아래의 넓이가 확률이다. E1의 넓이 = 확률이 그대로 이어지는 것이다. 이번 강에서 분포를 막대에서 곡선으로, 그리고 넓이로 직접 그려 보며 확률이 어떻게 퍼지는지 눈으로 익힌다.
먼저 값이 띄엄띄엄한 이산분포부터 본다. 주사위 하나는 1부터 6까지 똑같이 16씩이라 막대 여섯 개가 나란히 같은 높이예요. 그런데 주사위 두 개의 합을 보면 모양이 확 달라진다. 합이 7이 되는 경우는 (1,6)(2,5)(3,4)(4,3)(5,2)(6,1)로 여섯 가지, 합이 2가 되는 경우는 (1,1) 하나뿐이다. 그래서 7은 636으로 높고 2와 12는 136으로 낮은, 가운데가 봉긋한 삼각형 모양이 나와요. 막대 하나하나의 높이가 그 값이 나올 확률이고, 이걸 확률질량함수 PMF라고 부른다. 막대를 누르면 각 값의 확률이 확인된다. 핵심은 모든 막대의 높이를 다 더하면 정확히 1이라는 점이에요. 무슨 값이든 반드시 하나는 나오기 때문이다. 분포는 이렇게 전체 확률 1을 가능한 값들에 어떻게 나눠 주는가 하는 문제다.
값이 연속이면 어떻게 될까. 키나 무게, 측정 오차처럼 결과가 끊김 없이 이어질 때다. 이럴 땐 막대를 하나하나 세는 게 의미가 없어요. 정확히 173.4825...cm일 확률은 사실상 0이기 때문이다. 대신 표본을 모아 구간별로 묶어 히스토그램을 그린다. 슬라이더로 표본 수 N을 늘리면 변화가 드러나요. N이 작을 땐 막대가 들쭉날쭉 거칠지만, N을 키울수록 우연한 울퉁불퉁함이 평균되어 사라지고 막대들의 윤곽이 점점 매끄러운 곡선 하나에 가까워진다. 이 곡선이 확률밀도함수다. 히스토그램은 유한한 표본의 근사이고, 표본을 무한히 모았을 때의 이상적인 모양이 바로 밀도곡선이에요. 그러니까 밀도곡선은 값이 연속일 때의 PMF, 막대를 무한히 잘게 쪼개 이은 매끈한 버전이다. 데이터를 많이 모을수록 그 데이터 뒤에 숨은 진짜 분포가 드러난다.
밀도곡선에서 확률을 어떻게 읽을까. 여기가 사람들이 가장 많이 헷갈리는 지점이다. 곡선의 높이는 확률이 아니에요. 연속에서는 한 점의 확률이 0이기 때문이다. 대신 확률은 곡선 아래의 넓이로 읽는다. X가 a와 b 사이에 있을 확률은 a부터 b까지 곡선 아래의 넓이다. 두 경계 a와 b를 끌어 사이 구간을 넓히면 넓이가 커지고 그 확률도 커져요. 봉우리가 높은 가운데를 포함하면 같은 폭이라도 넓이가 크고, 꼬리 쪽 납작한 곳은 폭이 같아도 넓이가 작다. 그래서 가운데 값들이 더 잘 나오는 것이다. 곡선 전체 아래의 넓이는 정확히 1인데, E1에서 판 전체가 1이었던 것과 똑같아요. 결국 연속분포의 확률은 넓이를 재는 일, 곧 적분이다. 미적분의 적분이 확률에서 이렇게 쓰인다.
분포는 그 퍼짐의 모양에 따라 종류가 나뉘고, 모양마다 어울리는 상황이 있다. 탭으로 세 가지 대표 분포를 본다. 균등분포는 곡선이 납작한 직사각형이에요. 정해진 구간 안이면 어디든 똑같이 잘 나올 때, 예를 들어 컴퓨터가 만드는 난수나 반올림 오차가 그렇다. 지수분포는 처음이 가장 높고 오른쪽으로 갈수록 뚝 떨어지는 모양이다. 다음 사건까지 기다리는 시간, 부품이 고장 날 때까지의 시간, 손님이 도착하는 간격처럼 짧게 기다리는 일은 흔하고 오래 기다리는 일은 드문 경우에 나와요. 정규분포는 그 유명한 종 모양이라 가운데가 가장 높고 좌우 대칭으로 부드럽게 내려간다. 키, 시험 점수, 측정 오차처럼 수많은 작은 요인이 더해져 생기는 거의 모든 자연스러운 흩어짐이 이 모양이다. 분포의 모양을 알면 데이터가 어떻게 행동할지 미리 짐작할 수 있어요.
마지막으로 밀도와 짝을 이루는 또 하나의 그림이 있다. 누적분포함수 CDF다. 밀도가 각 값 근처에 확률이 얼마나 몰려 있나를 보여준다면, CDF는 x보다 작거나 같은 값이 나올 확률, 곧 왼쪽 끝부터 x까지 쌓아 온 누적 확률을 보여줘요. 그림으로 보면 명쾌하다. 위는 밀도곡선, 아래는 CDF다. x를 끌면 위에서는 x까지의 넓이가 칠해지고 아래에서는 그 넓이값이 점 하나로 찍힌다. 곧 CDF(x)는 정확히 밀도곡선 아래 x까지의 넓이예요. x를 왼쪽 끝에서 오른쪽 끝으로 옮기면 넓이를 점점 더 쓸어 담으니 CDF는 0에서 시작해 1까지 한 번도 안 내려가고 올라간다. 밀도의 봉우리가 높은 구간에서는 CDF가 가파르게, 꼬리에서는 완만하게 오른다. 두 곡선은 같은 분포를 다르게 본 한 쌍이에요. 밀도는 기울기, CDF는 그 기울기를 쌓은 넓이라, 미분과 적분의 관계가 여기서도 그대로다.