假设检验
实验里新药看起来有效，或者新算法看起来更快，单凭这一点也不能确信。因为也许只是碰巧。所以统计像法庭那样运转。先立下一个没有任何效果的怀疑性基本立场，也就是零假设 H0。然后问，如果 H0真的为真，我们现在看到的数据出现的机会有多稀少。即使 H0为真，出现这么大的结果的概率仍然很小，那么保住 H0就别扭，于是拒绝 H0，接受对立假设 H1。核心不是数据证明了真，而是量一量这结果是否惊讶到不能用偶然来解释。上一讲看过样本平均怎样散开，又怎样用那份散开抓住真值的范围。这一次把同一个钟形当作量惊讶的尺子。惊讶是决定的语言。偶然也会装成效果，所以在相信结果之前，还是要先问同样的惊讶。
第一步是把两个假设立清楚。零假设 H0永远用等号，钉死没有任何差别。比如平均 = μ0。对立假设 H1是我们想展示的主张。H1可以有三种形状，一侧更大，一侧更小，或者只是不同。把 H1的中心从 H0拉开，再选方向。H0的钟上涂色的尾巴，就是惊讶的结果会落下的地方。双侧就是两边的尾巴，单侧检验只看一边。怀疑哪一侧，必须在看见数据之前定下，才算公平。方向要先定。方向本身就是主张的一部分，要先钉住。
假设立好之后，要把数据收成一个数，放到 H0的钟上。那个数就是检验统计量。这里把样本平均 x̄标准化。z = (x̄ − μ0) / SE。意思很简单。观测到的平均离开 H0的基准 μ0有几个标准误 SE。那个标准误是上一讲抽样分布的宽度。改变观测平均，z 就在标准钟上移动。z 靠近 0，就和 H0很合。z 一大，像 2、3 那样，就走到离中心很远的稀少位置。这样无论什么单位的数据，换成一个 z，都能在同一口标准钟上比较。单位不同，钟相同。单位换了，比较用的钟还是同一口。
现在把惊讶换成数。p值是假定 H0为真时，出现像现在观测到的这么极端、或者更极端的结果的概率。图上是 H0的钟下面、观测统计量外侧尾巴的面积。把观测值往外推，尾巴变薄，p 变小。p 小，是说在 H0为真的世界里，这样的数据几乎不出现，所以才这么惊讶。有一件必须钉住。p值不是 H0为真的概率，它只是假定 H0为真的条件概率。把这个方向弄混，统计就会完全读错。它是假设之上的概率。方向不能反过来读。
小到什么程度才算足够小。事先定下的那条基准线就是显著性水平。常用 0.10、0.05、0.01。它是 H0的钟上的拒绝域，也就是极端到可以丢掉 H0的尾巴面积，边界值是临界值 z*。规则很简单。观测统计量越过临界值，也就是 p < α，就拒绝 H0，越不过就不能拒绝 H0。改变水平，临界线就移动，观测值跨过那条线时判定就翻转。水平取得越小，拒绝的门槛越高，不够惊讶就不能丢掉零假设。所以这个水平是事先定下我们愿意承受的假警报比例的把手。门槛要先定。门槛先于数据。
判定里藏着两种错误。第1类错误是 H0实际上为真却拒绝它，也就是假警报，它的概率就是显著性水平，是 H0 的钟上临界值外侧的面积。第2类错误是 H1实际上为真却不能丢掉 H0，也就是漏掉，它的概率是漏掉的大小，是 H1 的钟上临界值内侧的面积。交替看两种错误，把真实效果加大，流向就抓住了。效果越大，H1 的钟越往右离开，漏掉变少，功效 (1 − β) 变大。功效是真有效果时把它好好抓住的概率。减少假警报，漏掉就变多，这个交换就在那里。所以加大样本、缩小标准误，是同时减小两种错误的正路。样本把两种错误一起压住。两种错误并排。