투영은 가장 가까운 그림자다
벽에 막대기를 비추면 바닥에 그림자가 생기죠. 그 그림자는 막대 위의 한 점이고, 원래 점에서 가장 가까운 바닥 위 자리예요. 점에서 그림자로 내려가는 선은 항상 바닥과 직각이고요. 이게 투영이에요. 한 점이 아니라 데이터 점 수십 개를 한꺼번에 같은 방식으로 그림자 내리면, 그게 바로 최소제곱이에요. 모든 점에 가장 가깝게 지나가는 직선, 곧 회귀선. AI가 데이터에 모델을 맞추는 일은 결국 이 그림자 내리기 한 동작이에요.
파란 점 p는 고정이에요. 슬라이더로 원점을 지나는 직선의 각도를 돌려 보세요. 직선 위 골드 점 f는 p의 그림자, 곧 직선 위에서 p에 가장 가까운 자리예요. p에서 f로 내려가는 빨간 점선은 언제나 직선과 직각을 이루고, 이게 잔차예요. 직선이 p쪽을 정확히 가리킬 때 잔차가 0으로 줄고 그림자가 p와 겹쳐요. 직선이 p와 어긋날수록 잔차가 길어지죠. 투영 길이 p·u와 잔차 길이를 같이 읽으면서 둘이 어떻게 맞물리는지 보세요.
이번엔 직선을 30도로 고정하고 점 p를 직접 끌어 보세요. p가 어디로 가든 직선 위 그림자(투영 발)가 따라오고, p에서 그림자로 내려가는 점선은 늘 직선과 직각이에요. 이 직각이 핵심이에요. 잔차가 직선과 수직일 때, 그 잔차 길이가 곧 p에서 직선까지의 가장 짧은 거리예요. 다른 어떤 직선 위 점으로 가도 더 멀어요. 점을 직선에서 멀리 끌면 거리 표시가 커지고, 직선에 바짝 붙이면 0에 가까워지죠. 가장 가까움과 직각은 같은 사실의 두 얼굴이에요.
왜 그림자 길이가 p·u일까요? 직선을 x축(u=e1)으로 두고, 길이가 3으로 고정된 벡터 p의 각도 θ만 슬라이더로 바꿔 보세요. p의 x축 그림자(골드)는 길이가 |p|cosθ예요. 세로로 내려가는 점선이 그 그림자를 만들고요. θ가 0이면 p가 직선과 나란해서 그림자가 온전히 3, θ가 90도로 가면 p가 직선과 직각이라 그림자가 0으로 사라져요. 바로 이 |p|cosθ가 내적 p·u의 정의예요. 내적은 결국 한 벡터가 다른 벡터 방향으로 드리우는 그림자의 길이를 재는 자예요.
이제 점 하나가 아니라 점 일곱 개예요. 슬라이더로 직선의 기울기 m과 절편 b를 움직여 보세요. 각 점에서 직선으로 내려가는 세로 점선이 그 점의 잔차고, 그 제곱을 다 더한 값이 SSE(제곱오차 합)예요. 직선이 점들 한가운데를 잘 지나갈수록 잔차들이 짧아지고 SSE가 줄어요. 손으로 최선을 찾아본 뒤 최적합 버튼을 눌러 보세요. m과 b가 최소제곱 공식이 주는 정확한 값으로 점프하면서 SSE가 가능한 최솟값으로 떨어져요. 이게 회귀선이에요.
마지막으로 최소제곱을 기하로 보면 한 줄로 닫혀요. 파란 목표 벡터 b가 있고, 모델이 만들 수 있는 건 골드 방향 벡터 a가 그리는 직선 위 점들뿐이에요. 가장 가까운 근사는 b를 그 직선에 투영한 점 p고, 남는 잔차 r=b−p는 a와 직각이어야 해요. 토글을 켜면 그 수직 내림(점선)이 나타나고 a·r이 0에 가까운 게 보여요. 이 직각 조건이 바로 정규방정식 aᵀ(b−Ax)=0이에요. 블록1의 잔차 직교가 여기서 그대로 방정식이 됐어요. 최소제곱은 언제나 잔차를 모델 공간에 수직으로 세우는 일이에요.