回帰分析 相関係数 わかりやすく
測定値が完璧な直線の上に座ることはありません。身長と体重、勉強の時間と試験の点数、気温とアイスクリームの売上のように組になった値は雲になって散らばります。それでもその雲の中には傾いた傾向が隠れています。相関係数は点が一つの直線にどれほど密着しているかを一つの数で言い、最小二乗は縦に外れた間隔の二乗を足して、その和が最も小さくなる直線を一本だけ選びます。その直線から傾きを読み、散らばりのうち直線が説明する割合を R² で問うてから、傾きが本物の傾向なのか雑音なのかを問います。工業数学でベクトルを列空間へ射影していた計算と同じ代数です。レンズだけが違って、ここでは雑音の混じった資料に直線を合わせ、その直線で何が言えるかを見ます。点が散らばっても、選ぶ直線は一本です。
点を一つ動かすと相関係数 r がすぐに計算し直されます。点がそろって上がり一本の線に並べば r は +1 の近くに座り、x が大きくなるほど y が小さければ r は -1 の方へ傾き、雲が丸く向きがなければ r は 0 の近くにとどまります。r は直線で結ばれた関係だけを測り、単位は見ず、-1 と +1 の外には出ません。曲がった曲線はこの数が取りこぼします。
固定された点の雲の上に、直線を自分で置きます。傾きと切片を動かすと直線が回ります。計器は SSE、つまり各点から直線までの縦の間隔を二乗して足した値です。直線を見当違いの方へ押すとその和は大きくなり、底まで下げる傾きと切片は一つだけです。その底が最小二乗の直線で、合わせる操作を押すとそこへまっすぐ行きます。よく合うとは誤差が 0 という意味ではなく、二乗した誤差が最も小さいという意味です。底がどこかは計器が言います。
残差は残った縦の間隔です。実際の y から予測を引いた長さを二乗して足すと SSres、直線がまだ外している量が出ます。平らな平均線だけを引いたときの外れである SStot と並べると、比は R² = 1 - SSres / SStot になります。上下の揺れのうち直線が持っていく割合です。平均線と合わせた直線を交互に点けると、残りが縮むのが見えます。残りは直線が説明しきれなかった割合です。残りがどこに残るかが、そのまま見えます。
きれいな直線から始めて雑音を注ぎます。散らばりを大きくするほど同じ土台の傾向は埋もれ、r は 1 の近くから 0 の方へ滑ります。関係そのものが変わったのではなく、その関係を見分ける目が曇ったのです。相関が強いとは傾きが急だという意味ではなく、点が直線から少ししか外れないという意味です。目が曇れば傾向も曇ります。
資料から読んだ傾きは推定にすぎないので、信頼区間で包みます。点が少ないか雑音が大きいと区間は広がり、0 を横切ることがあります。そのときは傾向が偶然かもしれません。点をもっと集めると区間は狭まり、区間が 0 を完全に外れるとその傾きを統計的に有意と呼びます。標本を押すと区間は真の傾きの方へ締まります。区間が狭まること自体が答えです。点を足すほどその答えははっきりします。