仮説検定 わかりやすく
実験で新薬が効いて見えたり、新しい手順が速く見えたりしても、それだけでは確信できません。偶然そうなったかもしれないからです。だから統計は法廷のように動きます。まず何の効果もないという懐疑的な基本の立場、つまり帰無仮説 H0を立てます。そして問います。本当に H0が真なら、今見たデータが出ることはどれほどまれか。H0が真なのにこの程度の結果が出る確率がとても小さければ、H0を保つのがぎこちなくなり、だから H0を棄却して対立仮説 H1を受け入れます。核心は、データが真を証明することではなく、偶然では説明しきれないほど驚くかを測ることです。前の講で標本平均がどう散らばるか、その散らばりで真値の範囲をどう取るかを見ました。今回は同じ釣鐘を、驚きを測る物差しに使います。驚きが決定の言語です。偶然が効果のふりをすることがあるので、結果を信じる前に同じ驚きの問いを立てます。
第一歩は二つの仮説をはっきり立てることです。帰無仮説 H0はいつも等号で、何の差もないと固定します。たとえば平均 = μ0 です。対立仮説 H1は、私たちが見せたい主張です。H1は三つの形が可能で、一方に大きいか、一方に小さいか、ただ違うかです。H1の中心を H0から離し、向きを選びます。H0の釣鐘で塗られた尾が、驚く結果が落ちる場所です。両側なら両方の尾、片側の検定なら片方の尾だけを見ます。どちらを疑うかは、データを見る前に決めておかなければ公平ではありません。向きを先に決めます。向きは主張の一部です。
仮説を立てたら、データを一つの数にまとめて H0の釣鐘の上に置かなければなりません。その数が検定統計量です。ここでは標本平均 x̄を標準化します。z = (x̄ − μ0) / SE。意味は簡単です。観測された平均が H0の基準値 μ0から標準誤差 SE いくつ分離れたか。その標準誤差は前の講の標本分布の幅です。観測平均を変えると z が標準の釣鐘の上で動きます。z が 0 の近くなら H0とよく合い、z が大きいと、2 や 3 のように、中心から遠く外れたまれな場所へ行きます。こうしてどんな単位のデータでも z 一つに変えれば、すべて同じ標準の釣鐘の上で比べられます。単位が違っても釣鐘は同じです。
ここで驚きを数に変えます。p値は H0が真だと仮定したとき、今観測されたものと同じか、それより極端な結果が出る確率です。図では H0の釣鐘の下、観測統計量の外側の尾の面積です。観測値を外へ押すほど尾は薄くなり、p は小さくなります。p が小さいとは、H0が真の世界ではこのようなデータがめったに出ないという意味で、それだけ驚くのです。一つだけは必ず押さえます。p値は H0が真である確率ではなく、あくまで H0を真と仮定した条件付き確率です。この向きを取り違えると、統計を完全に読み誤ります。仮定の上の確率です。仮定です。
どれほど小さければ十分に小さいのでしょうか。その基準線をあらかじめ定めたものが有意水準です。よく 0.10、0.05、0.01 を使います。それは H0の釣鐘における棄却域、つまり H0を捨てるほど極端な尾の面積で、その境界値が臨界値 z* です。規則は簡単です。観測統計量が臨界値を超えると、つまり p < α なら H0を棄却し、超えなければ H0を捨てられません。水準を変えると臨界線が動き、観測値がその線をまたぐとき判定がひっくり返ります。水準を小さくするほど棄却の敷居が高くなり、よほど驚かなければ帰無を捨てられません。つまりその水準は、私たちが受け入れる偽の警報の割合をあらかじめ決める把手です。敷居を先に決めます。
判定には二つの誤りが隠れています。第1種の誤りは、実は H0が真なのに棄却すること、つまり偽の警報で、その確率が有意水準であり、H0 の釣鐘で臨界値の外側の面積です。第2種の誤りは、実は H1が真なのに H0を捨てられないこと、つまり見逃しで、その確率が見逃しの大きさであり、H1 の釣鐘で臨界値の内側の面積です。二つの誤りを交代で見て、本当の効果の大きさを増やすと流れがつかめます。効果が大きいほど H1 の釣鐘が右へ離れ、見逃しが減り、検出力 (1 − β) が大きくなります。検出力は、本当に効果があるときそれをきちんと捕らえる確率です。偽の警報を減らすと見逃しが増える引き換えがあります。だから標本を増やして標準誤差を減らすことが、二つの誤りを同時に減らす正攻法です。標本が二つの誤りを一緒に押します。二つの誤りは同じ判定の上に並びます。同じ判定です。