CM · 噪声与信息

概率与随机信号

噪声的一个样本无法预先知道。可只要收集得多，直方图总会收敛到同样的钟形。学习个别值虽随机但整体可预测，以及该分布由均值与方差两个数确定。

样本越多，钟形越清晰

把样本数从少切到多。只有几个时柱子参差、与钟形曲线不合；收集得多，直方图便贴合金色的正态曲线。

样本数与分布收敛

N = 16 → μ = 0, σ² = 1

粗略估计

没人能预先说出噪声的下一个样本是多少。所以想把噪声钉成单个值的尝试总会失败。但随机并不意味着无规律。你无法随意取到两次相同的值，可哪个值出现得多频繁，却出奇地规整。

收集几百个样本，按大小堆进各个格子，就出现中间高、两端低的钟形。样本越少柱子越粗糙，越多越接近平滑曲线。这条曲线就是正态分布，也就是高斯分布。像热噪声那样由众多微小随机起伏叠加而成的东西，几乎总是呈这种钟形。

观察∫ p(x) dx = 1

概率密度的总面积为 1。

选择μ = E[X] = ?

噪声均值为 0，不偏向任一侧。

钟形曲线仅由两个数完全确定。均值 μ 说钟以何处为中心，方差 σ² 说它铺开多宽。噪声的均值通常为 0，不偏向任一侧，方差正等于平均功率。某个值落入某区间的概率，是该区间之上、曲线之下的面积，而曲线下的总面积始终为 1。单个样本一无所知，但只要知道这两个数，就把整体握在手里。

填空σ² = E[(X ? μ)²]

方差是偏离均值的平方平均。

自己来P_avg = ?

平均功率就是方差 σ²。

样本只有十六个时柱子参差、与金色钟形曲线不合，但增到九百个，直方图便与曲线严丝合缝——尽管每个样本依然无法预测。概率要听懂的只有一件事：单个随机值无法得知，但整体总形成同样的钟形，而这钟形由定中心的均值与定铺展的方差，仅两个数就完全握住。

随机信号的值逐个无法预测，但整体服从概率分布。热噪声服从钟形的正态（高斯）分布，由两个数完全确定：定中心的均值 μ（噪声为 0）与定铺展的方差 σ²（= 平均功率）。某区间的概率是其上密度曲线下的面积，总面积为 1。这种统计描述使噪声变得可处理。

现在能把噪声当作分布、把它的强度当作方差来度量，信号与噪声功率之比 SNR 也在手。下一单元把这些绑成一体：香农的信道容量。只要给定带宽与 SNR，该信道无误传输的比特率绝对上限便由 C = B log₂(1 + SNR) 一举定下。