CM · 잡음과 정보

확률과 랜덤 신호

잡음 표본 하나가 어떤 값일지는 미리 알 수 없다. 그런데 많이 모아 히스토그램을 그리면 언제나 같은 종 모양으로 모여요. 낱낱의 값은 무작위여도 무리 전체는 예측할 수 있다는 것, 그리고 그 분포가 평균과 분산 두 수로 정해진다는 것을 이 유닛에서 익힌다.

표본을 모을수록 종이 드러난다

파란 막대는 표본을 값의 크기별로 쌓은 히스토그램이고, 금색 곡선은 이론상의 정규분포다. 표본 수 탭을 적음에서 많음으로 바꾸면, 몇 개뿐일 때 들쭉날쭉하던 막대가 표본이 늘수록 금색 곡선에 점점 맞아 들어가요. 가운데의 흐린 세로선이 평균의 자리예요.

표본 수와 분포 수렴

N = 16 → μ = 0, σ² = 1

거친 추정

한 값은 모른다

잡음의 다음 표본이 얼마일지는 누구도 미리 말할 수 없다. 그러니 잡음을 값 하나로 붙잡으려는 시도는 늘 실패하는데, 무작위라고 해서 법칙까지 없는 것은 아니에요. 같은 값을 두 번 얻을 수는 없어도, 어떤 값이 얼마나 자주 나오는지는 놀랄 만큼 규칙적이다.

쌓으면 종 모양

표본을 수백 개 모아 값의 크기별 칸에 쌓으면 가운데가 높고 양 끝이 낮은 종 모양이 드러난다. 표본이 적으면 막대가 거칠고, 많아질수록 매끄러운 곡선에 가까워져요. 이 곡선이 정규분포, 곧 가우스 분포다. 열잡음처럼 수많은 작은 무작위 요동이 더해진 양은 거의 언제나 이 종 모양을 띠는데, 그림의 표본도 고르게 흩어진 무작위 수 세 개를 더해 만든 것이다.

관찰∫ p(x) dx = 1

확률밀도 곡선 아래 전체 넓이는 1이다.

고르기μ = E[X] = ?

잡음의 평균은 0이라 어느 쪽으로도 치우치지 않는다.

평균과 분산, 두 수면 충분하다

종 곡선은 수 두 개로 완전히 정해진다. 평균 μ는 종의 중심이 어디인지를, 분산 σ²은 얼마나 넓게 퍼지는지를 나타내요. 잡음의 평균은 보통 0이라 어느 쪽으로도 치우치지 않고, 분산은 평균 전력과 같다. 어떤 값이 한 구간에 들어갈 확률은 그 구간 위에서 곡선 아래 넓이이며, 곡선 전체의 넓이는 언제나 1이다. 표본 하나는 몰라도 이 두 수만 알면 무리 전체를 손에 쥔 셈이에요.

빈칸σ² = E[(X ? μ)²]

분산은 평균에서 벗어난 정도를 제곱해 평균한 값이다.

스스로P_avg = ?

평균 전력이 곧 분산 σ²이다.

첫 화면으로 돌아가서

표본이 열여섯 개일 때는 막대가 들쭉날쭉해 금색 종 곡선과 어긋났지만, 구백 개로 늘리자 히스토그램이 곡선에 빈틈없이 들어맞았다. 그동안에도 표본 하나하나는 여전히 예측할 수 없었어요. 기억할 것은 하나다. 무작위한 값 하나는 알 수 없어도 무리는 늘 같은 종 모양을 이루고, 그 종은 중심을 정하는 평균과 퍼짐을 정하는 분산, 단 두 수로 완전히 손에 잡힌다.

랜덤 신호의 값은 하나씩은 예측할 수 없지만 무리로는 확률분포를 따른다. 열잡음의 분포는 종 모양의 정규(가우스) 분포로, 중심을 정하는 평균 μ(잡음은 0)와 퍼짐을 정하는 분산 σ²(= 평균 전력) 두 수로 완전히 정해진다. 어떤 구간의 확률은 그 구간 위 밀도 곡선 아래 넓이이고, 전체 넓이는 1이다. 이런 통계적 기술 덕분에 잡음을 계산으로 다룰 수 있다.

다음 유닛에서

이제 잡음은 분포로, 그 세기는 분산으로 잴 수 있다. 신호 전력과 잡음 전력의 비 SNR도 이미 손에 있어요. 다음 유닛은 이 모두를 하나로 묶는 샤논의 채널 용량이다. 대역폭과 SNR만 주어지면 그 채널로 오류 없이 보낼 수 있는 비트율의 천장이 C = B log₂(1 + SNR)로 한 번에 정해진다.