흩어진 점에 가장 잘 맞는 직선
측정값은 결코 완벽한 직선 위에 놓이지 않아요. 키와 몸무게, 공부 시간과 시험 점수, 기온과 아이스크림 판매량. 점들은 흩어지지만 그 구름 속에는 경향이 숨어 있어요. 상관계수 r는 점들이 직선에 얼마나 바짝 붙어 있는지를 하나의 숫자로 말해 주고, 최소제곱은 세로 방향으로 빗나간 정도의 제곱합을 가장 작게 만드는 단 하나의 직선을 그려 줘요. 그 직선에서 기울기를 읽고, 그것이 흩어짐을 얼마나 설명하는지 R²으로 묻고, 마지막으로 그 기울기가 진짜인지 아니면 잡음일 뿐인지 검정해요. 이건 공업수학의 사영과 최소제곱 강과 똑같은 대수예요. 다만 보는 렌즈가 달라서, 거기서는 벡터를 열공간에 사영했다면 여기서는 잡음 섞인 데이터에 직선을 맞추고 그로부터 무엇을 추론할 수 있는지 물어요.
아무 점이나 잡고 끌어 보세요. 상관계수 r가 즉시 갱신돼요. 점들이 함께 오르며 늘어서면 r는 +1 근처에 앉고, x가 클수록 y가 작아지는 경향이면 r는 -1 쪽으로 가며, 구름이 둥글고 방향이 없으면 r는 0 근처에 머물러요. r는 오직 직선적 연관성만 재요. 단위에는 관심이 없고, -1과 +1 사이를 결코 벗어나지 않아요.
고정된 점 구름에 여러분이 직접 직선을 놓아 보세요. 기울기와 절편 슬라이더로 움직이면 돼요. 계기는 SSE, 즉 각 점과 직선 사이 세로 간격을 제곱해 모두 더한 값을 따라가요. 직선을 이리저리 밀면 계기가 올라가는데, 이 값을 바닥까지 내리는 기울기와 절편은 딱 하나뿐이에요. 그 최저점이 최소제곱 직선이고, 맞춤 버튼을 누르면 곧장 거기로 뛰어가요. 가장 잘 맞는다는 건 오차가 0이라는 게 아니라 제곱 오차가 가장 작다는 뜻이에요.
잔차는 남은 것, 곧 실제 y에서 예측값 ŷ를 뺀 세로 간격이에요. 이것들을 제곱해 더하면 SSres, 직선이 여전히 빗나가는 정도가 나와요. 이를 평평한 평균선만 썼을 때의 빗나감인 SStot와 견줘 보세요. 둘의 비로 R² = 1 - SSres / SStot가 나오고, 이는 위아래 변동 가운데 직선이 설명해 내는 몫이에요. 평균 기준선과 맞춘 직선을 번갈아 켜 보며 남은 것이 줄어드는 걸 지켜보세요.
깨끗한 직선에서 출발해 잡음을 부어 보세요. 슬라이더가 흩어짐을 키울수록 같은 바탕 경향이 묻히고, r는 1 근처에서 0 쪽으로 미끄러져요. 관계 자체가 변한 게 아니라 그것을 볼 수 있는 우리의 능력이 변한 거예요. 강한 상관은 기울기가 가파른 것이 아니라 점들이 직선에서 얼마나 적게 벗어나는지에 달려 있어요.
데이터에서 잰 기울기는 추정값일 뿐이라, 우리는 그것을 신뢰구간으로 감싸요. 점이 적거나 잡음이 크면 구간이 넓어져 0을 걸칠 수 있는데, 그러면 경향이 우연일 수도 있다는 뜻이에요. 점을 더 모으면 구간이 좁아지고, 구간이 0을 완전히 벗어나는 순간 우리는 그 기울기를 통계적으로 유의하다고 말해요. 표본 크기를 밀어 구간이 참 기울기로 좁혀 드는 걸 지켜보세요.