어떻게 얼마나 틀렸나 재기, 손실

점 하나는 얼마나 빗나갔나

예측 선을 하나 그어 두었다. 점들은 실제 정답이고, 선은 모델의 예측이다. 점 하나를 골라 보면, 그 점의 가로 위치에서 선이 예측한 높이와 점의 실제 높이가 다를 수 있어요.
둘이 떨어져 있는 만큼 모델이 틀린 것이다. 이 어긋남을 먼저 눈으로 확인해 보자.

점을 눌러 보자. 점(정답)과 선(예측) 사이의 세로 어긋남이 표시돼요.

점마다 어긋남이 달랐다. 어떤 점은 선에 거의 붙어 있고, 어떤 점은 멀찍이 떨어져 있다. 선에 가까운 점은 잘 맞힌 것이고, 먼 점은 많이 빗나간 것이에요.
하지만 눈으로만 봐서는 전체가 얼마나 틀렸는지 알기 어렵다. 어긋남을 숫자로 바꿔야 한다.

어긋남을 거리로 재요

어긋남을 숫자로 바꾸는 방법은 간단하다. 점에서 선까지의 세로 거리를 그대로 재면 된다. 앞에서 잔차라고 부른 바로 그 차이다.
거리가 길면 많이 틀린 것이고, 짧으면 조금 틀린 것이에요. 점이 선 위에 있든 아래에 있든 틀린 것은 마찬가지이니, 거리는 늘 양수로 잰다.

점을 눌러 보자. 점에서 선까지의 거리가 막대로 재어지고 그 길이가 숫자로 나와요.

점마다 거리가 숫자로 나왔다. 가까운 점은 작은 숫자, 먼 점은 큰 숫자다. 이제 각 점이 얼마나 틀렸는지 또렷하게 알 수 있어요.
그런데 점은 하나둘이 아니다. 점마다 숫자가 따로 있으면 전체가 얼마나 틀렸는지 한눈에 보기 어렵다. 이 숫자들을 하나로 모아 보자.

어긋남을 모두 더해요

전체가 얼마나 틀렸는지 알려면 점마다 잰 거리를 하나도 빼놓지 않고 더한다. 작은 어긋남도 큰 어긋남도 모두 한데 모으는 것이다. 그러면 흩어져 있던 숫자들이 숫자 하나로 합쳐지고, 이 숫자가 손실이에요.
실제로는 점 개수로 나눠 평균을 내기도 한다. 그래야 점이 열 개인 데이터와 천 개인 데이터의 손실을 견줄 수 있다. 또 거리를 그대로 더하는 대신 제곱해서 더하는 방식도 널리 쓰인다. 이것을 평균 제곱 오차라고 하며, 크게 빗나간 점에 더 무거운 벌점을 준다.

점들을 차례로 눌러 보자. 어긋남이 하나씩 쌓이며 손실이라는 숫자 하나로 더해져요.

흩어진 어긋남이 손실이라는 숫자 하나로 모였다. 이제 모델을 평가하기 쉬워졌다. 손실이 크면 선이 점들과 많이 어긋난 것이고, 작으면 잘 맞는 것이에요.
분류처럼 무리를 답하는 문제에서는 다른 손실을 쓴다. 정답 무리에 매긴 확률이 낮을수록 손실이 커지도록 재는 방식이다. 무엇을 재든 할 일은 분명하다. 이 숫자를 작게 만드는 것이다.

손실을 작게 만드는 것이 목표

손실은 고정된 숫자가 아니다. 선을 움직이면 함께 바뀐다. 선을 점들 쪽으로 잘 맞추면 어긋남이 줄어 손실이 작아지고, 점들에서 멀어지면 손실이 커져요.
그러니 선을 이리저리 움직여 손실이 가장 작아지는 자리를 찾으면 된다. 그 자리의 선이 가장 좋은 선이다.

위아래 버튼으로 선을 옮겨 보자. 어긋남과 손실이 함께 바뀌고, 손실이 가장 작아지는 자리에 오면 알려 줘요.

선을 옮길 때마다 손실이 오르락내리락했다. 점들에 잘 맞을수록 숫자가 작아졌고, 가장 작은 자리가 가장 잘 맞는 선이었어요.
여기서 중요한 사실을 알 수 있다. 좋은 모델을 찾는 일은 손실을 작게 만드는 일과 같다. 기계 학습에서 말하는 학습이란 바로 손실을 줄여 가는 과정이다.

정리

정리하면 이렇다. 점마다 예측과 정답 사이의 어긋남, 곧 세로 거리가 있다. 이 거리를 모두 더하거나 평균 낸 숫자 하나가 손실이고, 모델이 얼마나 틀렸는지를 말한다.
손실이 작을수록 좋은 모델이에요. 선을 움직여 손실을 줄이는 것이 학습이다.

핵심을 차례로 눌러 되짚어 보자. (점마다 어긋남 → 거리로 재기 → 다 더해 손실 → 손실 줄이기가 학습)

이제 손실이 무엇이고 왜 줄이려 하는지 알게 됐다. 모델이 얼마나 틀렸는지 숫자 하나로 잡아내는 것이 모델을 가르치는 첫걸음이에요.
그런데 손실을 줄이려면 선을 어느 쪽으로 움직여야 할까? 여기서는 버튼 두 개로 위아래만 움직였지만, 실제 모델은 고칠 숫자가 수백만 개나 된다. 손실이 줄어드는 방향을 찾아 조금씩 내려가는 방법을 다음 레슨 경사 하강법에서 다룬다.