散らばった点に最もよく合う直線
測定値が完全な直線の上に並ぶことはありません。身長と体重、勉強時間と試験の点数、気温とアイスクリームの売上。点は散らばりますが、その雲の中には傾向が隠れています。相関係数 r は、点が直線にどれだけ密着しているかを一つの数で示し、最小二乗は縦方向のずれの二乗和を最も小さくするただ一本の直線を引きます。その直線から傾きを読み、それが散らばりをどれだけ説明するかを R² で問い、最後にその傾きが本物か、それとも雑音にすぎないかを検定します。これは工業数学の射影と最小二乗の講とまったく同じ代数であり、ただ見るレンズが違います。あちらではベクトルを列空間へ射影しましたが、ここでは雑音まじりのデータに直線を合わせ、そこから何を推論できるかを問います。
どの点でもつかんでドラッグしてみてください。相関係数 r がすぐに更新されます。点がそろって上へ伸びれば r は +1 付近に座り、x が大きいほど y が小さくなる傾向なら r は -1 の方へ向かい、雲が丸く向きを持たなければ r は 0 の近くにとどまります。r は直線的な関連だけを測ります。単位には無関心で、-1 と +1 の間を決して外れません。
固定された点の雲に、あなた自身で直線を置いてみてください。傾きと切片のスライダーで動かします。メーターは SSE、つまり各点と直線との縦の間隔を二乗してすべて足した値を追います。直線をあちこち動かすとメーターは上がりますが、この値を底まで下げる傾きと切片はただ一つだけです。その最低点が最小二乗直線で、スナップボタンを押せばまっすぐそこへ跳びます。最もよく合うとは、誤差が 0 という意味ではなく、二乗誤差が最も小さいという意味です。
残差は残り、すなわち実際の y から予測値 ŷ を引いた縦の間隔です。これらを二乗して足すと SSres、直線がなお外している量が出ます。それを、平らな平均線だけを使ったときの外れである SStot と比べてみてください。両者の比から R² = 1 - SSres / SStot が得られ、これは上下の変動のうち直線が説明する割合です。平均の基準線と当てはめた直線を交互に切り替え、残りが縮むのを見守ってください。
きれいな直線から出発して雑音を注いでみてください。スライダーが散らばりを大きくするほど、同じ土台の傾向は埋もれ、r は 1 の近くから 0 の方へ滑り落ちます。関係そのものが変わったのではなく、それを見る私たちの能力が変わったのです。強い相関とは傾きが急なことではなく、点が直線からどれだけ離れないかにかかっています。
データから測った傾きは推定値にすぎないので、私たちはそれを信頼区間で包みます。点が少なかったり雑音が大きかったりすると区間は広くなり、0 をまたぐことがあります。それは傾向が偶然かもしれないという意味です。点をもっと集めると区間は狭まり、区間が 0 を完全に外れた瞬間、私たちはその傾きを統計的に有意と呼びます。標本の大きさを動かし、区間が真の傾きへ狭まっていくのを見守ってください。