帰無仮説を立て、驚きを測る
実験をして新薬が効きそうに見えても、新しいアルゴリズムが速そうに見えても、それだけでは確信できません。偶然そうなっただけかもしれないからです。だから統計は法廷のように動きます。まず、何の効果もないという懐疑的な既定の立場、帰無仮説 H0 を立てます。そして問います。もし本当に H0 が真なら、いま見たデータが出ることはどれほどまれか。H0 が真でもこの程度の結果が出る確率がとても小さければ、H0 を保つのは不自然になります。だから H0 を棄却し、対立仮説 H1 を受け入れます。肝心なのは、データが真を証明するのではなく、偶然で説明するには驚きすぎるかを測ることです。前の講で標本平均がどう散らばるか（標本分布）、その散らばりで真の値の範囲をどう定めるか（信頼区間）を見ました。今回は同じ釣鐘形を、驚きを測る物差しとして使います。
最初の一歩は、二つの仮説をはっきり立てることです。帰無仮説 H0 は常に等号で、差がないと言い切ります（例: 平均 = μ0）。対立仮説 H1 は示したい主張です。H1 は三つの形をとれます。片側に大きい（右）、片側に小さい（左）、あるいは単に異なる（両側）。スライダーで H1 の中心を H0 から離し、トグルで向きを選んでください。H0 の釣鐘の色付きの裾が、驚く結果が落ちる場所です。両側なら両方の裾、片側検定なら片方の裾だけを見ます。どちら側を疑うかは、データを見る前に決めておくと公正です。
仮説を立てたら、データを一つの数にまとめて H0 の釣鐘の上に載せます。その数が検定統計量です。ここでは標本平均 x̄ を標準化します。z = (x̄ − μ0) / SE。意味は単純です。観測された平均が、H0 の基準値 μ0 から標準誤差 SE いくつ分離れているか。SE は前の講の標本分布の幅、すなわち σ/√n です。スライダーで観測平均を変えると、z が標準正規の釣鐘の上を動きます。z が 0 付近なら H0 とよく合い、z が大きい（2 や 3 のように）と中心から遠く離れたまれな場所に行きます。こうしてどんな単位のデータも一つの z に変えれば、すべて同じ標準の釣鐘の上で比べられます。
では驚きを数に変えます。p値は、H0 が真だと仮定したとき、いま観測されたのと同じかそれ以上に極端な結果が出る確率です。図では H0 の釣鐘の下、観測統計量の外側の裾の面積です。スライダーで観測値を外へ押すほど裾が薄くなり、p が小さくなります。p が小さいとは、H0 が真の世界ではこんなデータはめったに出ない、という意味なので、より驚きなのです。一つ必ず押さえておくこと。p値は H0 が真である確率ではありません。あくまで H0 を真と仮定した条件付き確率です。この向きを取り違えると、統計をまったく読み違えます。
どれくらい小さければ十分小さいのでしょう。あらかじめ引くその線が有意水準 α です。よく 0.10, 0.05, 0.01 を使います。α は H0 の釣鐘における棄却域、つまり H0 を捨てるほど極端な裾の面積で、その端が臨界値 z* です。規則は単純です。観測統計量が臨界値を越えれば（つまり p < α なら）H0 を棄却し、越えなければ棄却できません。トグルで α を変えると臨界線が動き、スライダーで観測値がその線をまたぐと判定が反転するのを見てください。α を小さくとるほど棄却の敷居が高くなり、よほど驚きでなければ H0 を捨てられません。だから α は、受け入れる誤警報の割合を前もって決めるつまみなのです。
判定には二つの誤りが潜んでいます。第一種の誤りは、本当は H0 が真なのに棄却すること、つまり誤警報（偽陽性）です。その確率がまさに α で、H0 の釣鐘における臨界値の外側の面積です。第二種の誤りは、本当は H1 が真なのに H0 を捨てられないこと、つまり見逃し（偽陰性）です。その確率が β で、H1 の釣鐘における臨界値の内側の面積です。トグルで二つの誤りを交互に見て、スライダーで本当の効果量を大きくしてください。効果が大きいほど H1 の釣鐘が右へ離れ、β が減り、検出力（1 − β）が増します。検出力は、本当に効果があるときにそれを正しく捉える確率です。α を小さくすると誤警報は減りますが β が増えて見逃しが多くなる、というトレードオフがあります。だから標本を増やして SE を小さくするのが、二つの誤りを同時に減らす正攻法です。