线性回归 相关系数
测量值不会坐在一条完美的直线上。身高和体重、学习时间和考试分数、气温和冰淇淋销量，这些成对的值散成一团云。云里面仍然藏着倾斜的趋势。相关系数用一个数说出这些点贴一条直线有多紧，最小二乘把纵向偏离的间隔平方后相加，选出和最小的那一条直线。从这条直线读出斜率，用 R² 问直线解释了多少散开，再问这个斜率是真趋势还是只有噪声。这和工程数学里把向量投影到列空间的代数是同一套。透镜不同，这里是给掺了噪声的资料配一条直线，看这条直线能说出什么。点是散的，选出的直线仍是一条。点是散的，直线仍要选出来。位置就这样定下来。
挪动一个点，相关系数 r 会马上重算。点一起上升排成一条线时，r 靠近 +1。x 变大而 y 变小时，r 偏向 -1。云团变圆、没有方向时，r 停在 0 附近。它只量直线连起来的关系，不管单位，也不走出 -1 和 +1。弯掉的曲线是这个数抓不住的。曲线另算。
在固定的点云上亲手放一条直线。推动斜率和截距，直线就转起来。仪表是 SSE，也就是每个点到直线的纵向间隔平方后相加。把直线推向不对的方向，这个和就变大，能压到最低的斜率和截距只有一组。那个最低处就是最小二乘直线，按下对齐就直接到那里。拟合得好并不是说误差是 0，而是说平方后的误差最小。最低处只有一处。
残差是剩下的纵向间隔。把实际的 y 减去预测的长度平方后相加，得到 SSres，也就是直线仍然偏开的量。把它和只画一条平坦平均线时的偏离 SStot 放在一起，比是 R² = 1 - SSres / SStot。这是上下晃动里直线拿走的份额。交替打开平均线和拟合直线，剩下的量就在眼前变少。剩下的是直线没能解释的那一份。位置就这样定下来。
从一条干净的直线开始，把噪声倒上去。散开越大，同一条底下的趋势越被埋住，r 从靠近 1 滑向 0。不是关系本身变了，而是认出这关系的眼睛变模糊了。相关强并不是斜率陡，而是点离开直线很少。眼睛一模糊，趋势也模糊。
从资料读出的斜率只是估计，所以用置信区间把它包起来。点少或者噪声大，区间变宽，可能横跨 0，那时趋势也许只是偶然。再收集点，区间变窄，区间完全离开 0，就把这个斜率叫做统计上显著。推动样本，区间就向真实斜率收紧。区间变窄本身就是回答。点越多，回答越清楚。