中心极限定理
世上的分布多得数不清,偏偏有一种形状随处可见:钟形,也就是正态分布。人的身高、考试分数、测量误差、工厂零件的尺寸,甚至统计中的样本均值,来源完全不同,却像约好了一样,都画出中间隆起、左右对称的钟。为什么偏偏这种形状如此常见?答案既优雅又有力:把许多彼此独立的小随机因素加起来,不管每个因素原本是什么形状,它们的和都会收敛成钟形。这就是中心极限定理,统计学中最深刻、最美的结果之一。身高服从正态分布,是无数基因和环境因素叠加的结果;测量误差呈正态分布,是无数微小抖动合在一起的结果。上一讲用中心和散布两个数概括了分布,而正态分布恰好只由这两个数,即均值和标准差,完全确定。在概率统计这条线的最后一讲里,我们来看钟形为什么随处可见,以及怎样用这一把尺子去量世界。
先和钟形本身熟悉起来。正态分布在均值处最高,向两侧对称而平滑地下降。令人惊讶的是,这条曲线只由两个数,即均值 μ 和标准差 σ,完全确定。μ 是峰所在的位置,也就是中心;σ 是钟的宽度。正态分布还有一条值得记住的好规则:68-95-99.7 规则。用按钮选择宽度,涂色的面积会显示:距均值 ±1σ 以内约占全部的 68%,±2σ 以内约 95%,±3σ 以内约 99.7%。换句话说,服从正态分布的值几乎总是 (99.7%) 落在距均值 3σ 以内,超出 3σ 的情况很少见,大约千次中三次。σ 是一把天然的尺子 (ruler)。离均值多少个 σ,就说明这件事有多罕见。凭这一条规则,就能当场判断某个测量值是正常还是异常。
现在来看钟形是怎样自己冒出来的。掷一颗骰子,1 到 6 的概率都一样,分布是平平的长方形,和钟形相去甚远。可是掷好几颗骰子再看它们的和,魔法就出现了。用按钮增加骰子的个数。只加两颗,平平的分布就变成以 7 为顶点的三角形;增加到三颗、四颗,棱角变圆,越来越接近钟形。蓝色柱子是和的概率,金色曲线是具有相同均值和散布的正态分布。为什么会这样?和要非常小,所有骰子必须同时掷出小点数,这很少见;而和落在中间附近的途径多得数不清。所以中间的值压倒性地常见,形成了峰。原料骰子一颗完全不是钟形,可只要加上几颗,钟形就出现了。这是中心极限定理发挥作用的最简单的例子。
骰子本来就是对称的,可以说是个容易的例子。那么,对于明显偏向一侧的分布又会怎样?这里有一个指数分布,0 附近最多,向右拖着长长的尾巴,完全不对称。从这个偏斜的分布中抽出 N 个值求平均,把许多这样的平均值收集起来画成直方图。在下方的轨道上增大样本量 N。N=1 时还是原来偏斜的形状,可 N 越大,样本均值的分布竟然越来越接近对称的钟形,同时越来越窄。不管来源多么歪斜,只要抽得够多再求平均,这个平均值就会收敛到正态分布。这就是中心极限定理的核心。而且它的宽度随着 N 增大按 1√N 缩小,下方写出这个值。样本增加到 4 倍,均值的散布就减半。所以样本越多,对均值的估计越精确,民意调查只问几千人就相当准确,原因正在于此。
既然正态分布随处可见,用一把标准尺子把所有正态分布统一起来就方便了。这就是 z 标准化。把某个正态分布 N(μ, σ) 中的值 X,改写成离均值多少个 σ。写成式子就是 z = (X − μ)σ。先减去 μ,把中心移到 0;再除以 σ,把宽度调成 1。这是上一讲看到的 aX+b 变换的一个特例 (a=1σ, b=−μσ)。用下方两条轨道怎样改变 μ 和 σ,曲线下方的 z 刻度始终固定在 0、±1、±2。金色上排的 x 值因分布而异,可用蓝色下排的 z 值来量,所有正态分布都变成同一个标准正态 N(0, 1)。它之所以强大,是因为只要有一张标准正态的表或一个函数,就能把世上任何正态分布的概率换成 z,用那一张表全部读出来。无论是身高为 175cm 的概率还是股票收益率,换成 z 都能用同一把尺子量。
最后,看看这一切在工程中怎样使用。同一个量测量多次,每次的值都会略有不同。这种散布是无数微小噪声叠加的结果,所以根据中心极限定理服从正态分布。图中的测量点也在均值周围呈钟形散开。把 68-95-99.7 规则用在这里。用按钮改变带子的宽度,带内的点是金色,带外的点是红色,可以看到约 95% 的测量值落在均值 ±2σ 以内。按“重新测量”,可以用一组新的测量点再次确认同样的比例。反过来,就可以约 95% 地确信真值落在测量均值 ±2σ 以内,这就是置信区间。把测量结果写成 5.0 ± 0.2 时的那个 ±,正是这个意思。在工程中,任何数字都不会离开 ± 单独出现。零件尺寸的公差、实验值的误差范围、民意调查的抽样误差、传感器的精度,都表示为估计值 ± 若干 σ。所以统计不是说“均值是多少”的语言,而是说“均值在这个范围内,而且我们有这么大把握”的语言。正态分布和中心极限定理给这份把握配上了数字。概率统计这条线到这一讲结束。线性代数的变换与特征值、复数的旋转、微分方程的流动与稳定性,再到概率的分布与估计,工科学生工具箱里的基本工具都已握在手中。