CM · 雑音と情報

確率とランダム信号

雑音の一標本は前もって知ることができない。だが多く集めると、ヒストグラムは必ず同じ釣鐘型に収束する。個々の値は無作為でも全体は予測でき、その分布が平均と分散の二つの数で決まることを学ぶ。

標本を集めるほど釣鐘が現れる

標本数を少から多へ変えてみよう。数個だけのときは棒が凸凹で釣鐘曲線とずれるが、多く集めるとヒストグラムが金色の正規分布曲線に吸い込まれるように一致する。

標本数と分布の収束

N = 16 → μ = 0, σ² = 1

粗い推定

一つの値は分からない

雑音の次の標本がいくつかは、誰も前もって言えない。だから雑音を一つの値で捉えようとする試みは必ず失敗する。しかし無作為だからといって法則がないわけではない。同じ値を二度得ることはできなくても、どの値がどれだけ頻繁に出るかは驚くほど規則的だ。

積み上げれば釣鐘型

標本を数百集めて値の大きさごとに区画へ積むと、中央が高く両端が低い釣鐘型が現れる。標本が少ないほど棒は粗く、多いほど滑らかな曲線に近づく。この曲線が正規分布、すなわちガウス分布だ。熱雑音のように多数の小さな無作為な揺らぎが足し合わさったものは、ほぼ必ずこの釣鐘型をとる。

観察∫ p(x) dx = 1

確率密度の全面積は 1。

選ぶμ = E[X] = ?

雑音の平均は 0、どちらにも偏らない。

平均と分散、二つの数で十分

釣鐘曲線はただ二つの数で完全に決まる。平均 μ は釣鐘がどこを中心とするか、分散 σ² はどれだけ広がるかを言う。雑音の平均は普通 0 でどちらにも偏らず、分散は平均電力に等しい。ある値が一区間に入る確率はその区間の上、曲線の下の面積であり、曲線全体の面積は常に 1 だ。一標本は分からなくても、この二つの数さえ分かれば全体を手中にしたことになる。

空欄σ² = E[(X ? μ)²]

分散は平均からのずれの二乗平均。

自分でP_avg = ?

平均電力がそのまま分散 σ²。

最初の画面に戻ると

標本が十六個のときは棒が凸凹で金色の釣鐘曲線とずれたが、九百個に増やすとヒストグラムは曲線にぴたりと合った。標本一つ一つは相変わらず予測できないのにだ。確率で聞き取るべきはただ一つ。無作為な値一つは分からなくても、全体は必ず同じ釣鐘型をなし、その釣鐘は中心を定める平均と広がりを定める分散、ただ二つの数で完全に手に入る。

ランダム信号の値は一つずつは予測できないが、全体では確率分布に従う。熱雑音の分布は釣鐘型の正規(ガウス)分布で、中心を定める平均 μ(雑音は 0)と広がりを定める分散 σ²(= 平均電力)の二つの数で完全に決まる。ある区間の確率はその上の密度曲線の下の面積で、全体の面積は 1。この統計的記述が雑音を扱えるようにする。

次のユニットで

いまや雑音を分布として、その強さを分散として測れる。信号電力と雑音電力の比 SNR も手にある。次はこれらを一つに束ねるシャノンのチャネル容量だ。帯域幅と SNR さえ与えられれば、そのチャネルで誤りなく送れるビット率の絶対の天井が C = B log₂(1 + SNR) で一挙に決まる。