先假设原假设，再度量惊讶程度
做了实验，新药看起来有效，或新算法看起来更快，单凭这一点还不能确信。也许只是碰巧如此。所以统计学像法庭一样运作。先立一个怀疑的默认立场，原假设 H0，说没有任何效应。然后发问：如果 H0 当真为真，我们刚看到的数据出现得有多罕见？如果在 H0 为真时出现如此极端结果的概率很小，那么继续坚持 H0 就变得别扭，于是我们拒绝 H0，接受备择假设 H1。关键在于：数据并不证明什么为真，而是度量这个结果是否惊讶到无法用偶然来解释。前面几讲我们看了样本均值如何散布（抽样分布），以及如何用这份散布圈定真值的范围（置信区间）。这一讲，我们把同一个钟形当作度量惊讶的尺子。
第一步是把两个假设讲清楚。原假设 H0 永远是等号，钉死「没有差异」（例如 均值 = μ0）。备择假设 H1 是我们想要证明的主张。H1 可以有三种形状：一侧偏大（右）、一侧偏小（左），或者只是不同（双侧）。拖动滑块把 H1 的中心从 H0 推开，用开关选择方向。原假设钟形上被着色的尾部，就是令人惊讶的结果会落下的地方：双侧看两条尾，单侧检验只看一条尾。你怀疑哪一侧，必须在看数据之前就定好，检验才公平。
假设立好之后，我们把数据概括成一个数，放到原假设的钟形上。这个数就是检验统计量。这里我们把样本均值 x̄ 标准化：z = (x̄ − μ0) / SE。它的意思很简单：观测到的均值离原假设基准值 μ0 有多少个标准误 SE。SE 就是上一讲抽样分布的宽度，也就是 σ/√n。拖动滑块改变观测均值，z 就沿着标准正态的钟形移动。z 靠近 0 就与 H0 吻合得好；z 很大（比如 2 或 3）就落到远离中心的罕见位置。这样，无论什么单位的数据，都换成一个 z，就都能在同一个标准钟形上比较了。
现在把惊讶变成数字。p 值是：在假定 H0 为真的前提下，出现与观测到的一样极端或更极端结果的概率。在图里它就是原假设钟形下、观测统计量外侧那条尾巴的面积。用滑块把观测值往外推，尾巴变薄，p 变小。p 小意味着：在 H0 为真的世界里，这样的数据很少出现，所以更令人惊讶。有一点必须强调：p 值不是 H0 为真的概率。它始终是一个以「H0 为真」为前提的条件概率。把这个方向搞反，就会把统计完全读错。
多小才算足够小？事先划下的那条线就是显著性水平 α。常用 0.10、0.05、0.01。α 是原假设钟形上拒绝域的面积，也就是极端到足以放弃 H0 的那段尾部，它的边界就是临界值 z*。规则很简单：观测统计量越过临界值（也就是 p < α）就拒绝 H0，越不过就无法拒绝。用开关改变 α，临界线就移动；用滑块让观测值跨过那条线，看看判定如何翻转。α 取得越小，拒绝的门槛就越高，除非数据相当惊讶，否则 H0 就保住了。所以 α 是一个旋钮，事先设定我们愿意承受的误报比例。
判定里藏着两种错误。第一类错误是：H0 其实为真却拒绝了它，也就是误报（假阳性）。它的概率正是 α，就是原假设钟形下临界值外侧的面积。第二类错误是：H1 其实为真却没能放弃 H0，也就是漏检（假阴性）。它的概率是 β，就是备择假设钟形下临界值内侧的面积。用开关轮流看两种错误，用滑块增大真实的效应量。效应越大，H1 钟形就越往右移，β 越小，检验功效（1 − β）越大。功效就是当真有效应时正确抓住它的概率。把 α 调小，误报减少，但 β 增大、漏检变多，这是一个权衡。所以扩大样本、缩小 SE，才是同时减少两种错误的正道。