CM · 잡음과 정보

확률과 랜덤 신호

잡음의 한 표본은 미리 알 수 없다. 그런데 많이 모으면 히스토그램이 늘 같은 종 모양으로 수렴한다. 개별 값은 무작위여도 무리는 예측 가능하다는 것, 그 분포가 평균과 분산 두 수로 정해진다는 것을 익힌다.

표본을 모을수록 종이 드러난다

표본 수를 적음에서 많음으로 바꿔 보라. 몇 개뿐일 때는 막대가 들쭉날쭉 종 곡선과 어긋나지만, 많이 모으면 히스토그램이 금색 정규분포 곡선에 빨려들 듯 들어맞는다.

표본 수와 분포 수렴

N = 16 → μ = 0, σ² = 1

거친 추정

한 값은 모른다

잡음의 다음 표본이 얼마일지는 아무도 미리 말할 수 없다. 그래서 잡음을 한 값으로 붙잡으려는 시도는 늘 실패한다. 하지만 무작위라고 해서 법칙이 없는 것은 아니다. 같은 값을 두 번 얻을 수는 없어도, 어떤 값이 얼마나 자주 나오는지는 놀랍도록 규칙적이다.

쌓으면 종 모양

표본을 수백 개 모아 값의 크기별로 칸에 쌓으면, 중앙이 높고 양끝이 낮은 종 모양이 나타난다. 표본이 적을수록 막대는 거칠고, 많을수록 매끄러운 곡선에 가까워진다. 이 곡선이 정규분포, 곧 가우스 분포다. 열잡음처럼 수많은 작은 무작위 요동이 더해진 것은 거의 언제나 이 종 모양을 띤다.

관찰∫ p(x) dx = 1

확률밀도의 전체 넓이는 1.

고르기μ = E[X] = ?

잡음의 평균은 0, 한쪽으로 치우치지 않는다.

평균과 분산, 두 수면 충분하다

종 곡선은 단 두 수로 완전히 정해진다. 평균 μ는 종이 어디에 중심을 두는지, 분산 σ²은 얼마나 넓게 퍼지는지를 말한다. 잡음의 평균은 보통 0이라 한쪽으로 치우치지 않고, 분산은 곧 평균 전력과 같다. 그리고 어떤 값이 한 구간에 들 확률은 그 구간 위 곡선 아래의 넓이이며, 곡선 전체의 넓이는 항상 1이다. 한 표본은 몰라도 이 두 수만 알면 무리 전체를 손에 쥔 셈이다.

빈칸σ² = E[(X ? μ)²]

분산은 평균에서 벗어난 정도의 제곱 평균.

스스로P_avg = ?

평균 전력이 곧 분산 σ².

첫 화면으로 돌아가서

표본이 열여섯 개일 때는 막대가 들쭉날쭉 금색 종 곡선과 어긋났지만, 구백 개로 늘리자 히스토그램이 곡선에 빈틈없이 들어맞았다. 표본 하나하나는 여전히 예측할 수 없었는데도 말이다. 확률에서 들어야 할 단 하나는 이것이다. 무작위한 값 하나는 알 수 없어도 무리는 늘 같은 종 모양을 이루고, 그 종은 중심을 정하는 평균과 퍼짐을 정하는 분산, 단 두 수로 완전히 손에 잡힌다.

랜덤 신호의 값은 하나씩은 예측할 수 없지만 무리로는 확률분포를 따른다. 열잡음의 분포는 종 모양의 정규(가우스) 분포로, 중심을 정하는 평균 μ(잡음은 0)와 퍼짐을 정하는 분산 σ²(= 평균 전력) 두 수로 완전히 정해진다. 어떤 구간의 확률은 그 위 밀도 곡선 아래 넓이이고, 전체 넓이는 1이다. 이 통계적 기술이 잡음을 다룰 수 있게 한다.

다음 유닛에서

이제 잡음을 분포로, 그 세기를 분산으로 잴 수 있다. 신호 전력과 잡음 전력의 비 SNR도 손에 있다. 다음은 이 모두를 하나로 묶는 샤논의 채널 용량이다. 대역폭과 SNR만 주어지면, 그 채널로 오류 없이 보낼 수 있는 비트율의 절대 천장이 C = B log₂(1 + SNR)로 단번에 정해진다.