CM · 雑音と情報

確率とランダム信号

雑音の標本一つがどんな値になるかは、前もって知ることができません。ところが、たくさん集めてヒストグラムを描くと、いつも同じ釣鐘形にまとまります。一つひとつの値はランダムでも集団全体は予測できること、そしてその分布が平均と分散の二つの数で決まることを、このユニットで学びます。

標本を集めるほど釣鐘が現れる

青い棒は標本を値の大きさごとに積み上げたヒストグラムで、金色の曲線は理論上の正規分布です。標本数のタブを少ないから多いへ切り替えると、数個しかないときにはでこぼこだった棒が、標本が増えるにつれて金色の曲線にしだいに合っていきます。中央の淡い縦線が平均の位置です。

標本数と分布の収束

N = 16 → μ = 0, σ² = 1

粗い推定

一つの値は分からない

雑音の次の標本がいくつになるかは、誰も前もって言えません。だから雑音を一つの値でとらえようとする試みはいつも失敗しますが、ランダムだからといって法則がないわけではありません。同じ値を二度得ることはできなくても、どんな値がどれくらいの頻度で現れるかは驚くほど規則的です。

積み上げれば釣鐘型

標本を数百個集めて値の大きさごとの区間に積み上げると、中央が高く両端が低い釣鐘形が現れます。標本が少ないと棒は粗く、多くなるほどなめらかな曲線に近づきます。この曲線が正規分布、つまりガウス分布です。熱雑音のように数多くの小さなランダムな揺らぎが足し合わさった量は、ほとんどいつもこの釣鐘形になり、図の標本も一様に散らばった乱数を三つ足して作ったものです。

観察∫ p(x) dx = 1

確率密度曲線の下の全面積は 1 です。

選ぶμ = E[X] = ?

雑音の平均は 0 で、どちらにも偏りません。

平均と分散、二つの数で十分

釣鐘形の曲線は二つの数で完全に決まります。平均 μ は釣鐘の中心がどこにあるかを、分散 σ² はどれだけ広く広がるかを表します。雑音の平均はふつう 0 なのでどちらにも偏らず、分散は平均電力に等しくなります。ある値がある区間に入る確率はその区間の上で曲線の下にある面積で、曲線全体の面積はいつも 1 です。標本一つはわからなくても、この二つの数さえわかれば集団全体を手にしたことになります。

空欄σ² = E[(X ? μ)²]

分散は、平均からのずれを二乗して平均した値です。

自分でP_avg = ?

平均電力はそのまま分散 σ² です。

最初の画面に戻ると

標本が十六個のときは棒がでこぼこで金色の釣鐘曲線からずれていましたが、九百個に増やすとヒストグラムは曲線にすき間なく収まりました。その間も、標本一つひとつは相変わらず予測できませんでした。覚えておくことは一つです。ランダムな値一つはわからなくても集団はいつも同じ釣鐘形をなし、その釣鐘は中心を決める平均と広がりを決める分散という、たった二つの数で完全につかめます。

ランダム信号の値は一つずつは予測できませんが、集団としては確率分布に従います。熱雑音の分布は釣鐘形の正規(ガウス)分布で、中心を決める平均 μ(雑音では 0)と、広がりを決める分散 σ²(= 平均電力)の二つの数で完全に決まります。ある区間の確率はその上の密度曲線の下の面積で、全面積は 1 です。このような統計的な記述のおかげで、雑音を計算で扱えるのです。

次のユニットで

これで雑音を分布として、その強さを分散として測れるようになりました。信号電力と雑音電力の比 SNR もすでに手元にあります。次のユニットは、これらすべてを一つにまとめるシャノンの通信路容量です。帯域幅と SNR さえ与えられれば、そのチャネルで誤りなく送れるビットレートの天井が C = B log₂(1 + SNR) で一度に決まります。