最贴合散点云的那条直线
测量值从不会精确地落在一条直线上。身高与体重、学习时间与考试成绩、气温与冰淇淋销量:这些点四散分布,然而趋势就藏在这团云里。相关系数 r 用一个数字说明这些点与一条直线贴合得有多紧,而最小二乘法画出让纵向偏离的平方总和尽可能小的那一条直线。我们从这条直线读出斜率,用 R² 追问它解释了多少散布,最后检验这个斜率是真实的还是仅仅是噪声。这与工程数学中投影与最小二乘那一讲是完全相同的代数,只是观察的透镜不同:那里我们把一个向量投影到列空间,这里我们把一条直线拟合到带噪声的数据,并追问它让我们能推断出什么。
抓住任意一个点并拖动它。相关系数 r 会立即更新。当这些点一同向上排列时,r 靠近 +1;当 x 越大 y 越小时,r 朝 -1 移动;当云团圆而无向时,r 停在 0 附近。r 只衡量线性关联,别无其他:它不在乎单位,也永远不会离开 -1 到 +1 的范围。
对于一团固定的点,试着用斜率和截距滑块亲手放置一条直线。仪表跟踪 SSE,也就是每个点与你的直线之间纵向间隔的平方之和。把直线推来推去,仪表就会上升;能把这个值压到最低的斜率与截距只有一组。那个最低点就是最小二乘拟合,按下对齐按钮就会径直跳到那里。最佳拟合意味着平方误差最小,而不是误差为零。
每个残差都是剩余量,即实际的 y 减去预测的 ŷ 的纵向间隔。把它们平方相加得到 SSres,也就是直线仍然偏离的程度。再把它与只用那条水平的平均线时的偏离 SStot 相比较。两者之比给出 R² = 1 - SSres / SStot,即上下起伏的变动中被这条直线解释的份额。在平均基准线与拟合直线之间切换,看着剩余量不断缩小。
从一条干净的直线出发,注入噪声。随着滑块加大散布,同一条底层趋势被掩埋,r 从接近 1 滑向 0。关系本身没有改变,改变的是我们看见它的能力。强相关不在于斜率有多陡,而在于这些点偏离直线有多少。
从数据测得的斜率只是一个估计,所以我们用置信区间把它包裹起来。当点很少或噪声很大时,区间会很宽,可能跨越零,这意味着趋势也许只是巧合。多收集一些点,区间就会收紧;一旦它完全离开零,我们就称这个斜率具有统计显著性。拖动样本量,看着区间向真实斜率收拢。