CM · 噪声与信息
概率与随机信号
单个噪声样本会取什么值，事先无从知道。然而把大量样本收集起来画成直方图，总会聚成同一个钟形。本单元要弄清：单个值虽然随机，整体却可以预测；而这个分布只由均值和方差两个数决定。
样本越多，钟形越清晰
蓝色柱条是把样本按数值大小堆起来的直方图，金色曲线是理论上的正态分布。把样本数选项从少切换到多：样本只有几个时，柱条参差不齐；随着样本增多，它们越来越贴合金色曲线。中间那条淡淡的竖线标出均值的位置。
样本数与分布收敛
N = 16 → μ = 0, σ² = 1
粗略估计
单个值无法得知
噪声的下一个样本是多少，谁也无法事先说出。所以想用一个数值抓住噪声的尝试总会失败；不过，随机并不等于没有规律。同一个值不可能得到两次，但各个数值出现得多频繁，却规律得惊人。
堆起来就是钟形
收集几百个样本，按数值大小分格堆起来，就会出现中间高、两端低的钟形。样本少时柱条粗糙，越多越接近一条光滑的曲线。这条曲线就是正态分布，也叫高斯分布。像热噪声这样由大量微小随机起伏叠加而成的量，几乎总是呈现这种钟形；图中的样本本身也是把三个均匀分布的随机数加起来得到的。
观察∫ p(x) dx = 1
概率密度曲线下的总面积为 1。
选择μ = E[X] = ?
噪声的均值为 0，不偏向任何一侧。
均值与方差，两个数足矣
钟形曲线完全由两个数决定。均值 μ 说明钟形的中心在哪里，方差 σ² 说明它铺开得有多宽。噪声的均值通常为 0，不偏向任何一侧，而方差就等于平均功率。某个值落入某一区间的概率，就是该区间上方曲线下的面积，而曲线下的总面积永远是 1。即使不知道任何一个样本，只要掌握这两个数，就把握了整体。
填空σ² = E[(X ? μ)²]
方差是偏离均值之差的平方的平均值。
自己来Pavg = ?
平均功率就是方差 σ²。
回到第一屏
样本只有十六个时，柱条参差不齐，与金色钟形曲线对不上；增加到九百个后，直方图严丝合缝地贴合了曲线。而在这期间，每一个样本依旧无法预测。要记住的只有一点：随机的单个值无从知道，整体却总是构成同一个钟形，而这个钟形完全由决定中心的均值和决定宽度的方差这两个数把握。
随机信号的值无法逐个预测，但作为整体服从概率分布。热噪声的分布是钟形的正态(高斯)分布，完全由两个数决定：决定中心的均值 μ(噪声为 0)和决定宽度的方差 σ²(= 平均功率)。某个区间的概率是该区间上方密度曲线下的面积，总面积为 1。正是这种统计描述，让噪声可以通过计算来处理。
下一单元
现在可以用分布来描述噪声，用方差来衡量它的强度；信号功率与噪声功率之比 SNR 也已在手。下一单元是把这一切合而为一的香农信道容量。只要给定带宽和 SNR，这条信道无差错传输比特率的上限就由 C = B log₂(1 + SNR) 一下子确定。