조금씩 고쳐 내려가기, 경사하강

안개 낀 언덕을 내려가요

앞에서 손실을 배웠어요.
손실은 틀림의 합이고,
작을수록 좋은 거였죠.
그럼 손실을 어떻게 줄일까요?
손실을 값에 따라 그려 보면
가운데가 푹 꺼진 골짜기 모양이에요.
골짜기 바닥이 손실이 가장 작은 곳이에요.
그 바닥을 향해 내려가면 되는데,
안개가 껴서 바닥은 보이지 않아요.
보이는 건 발밑 기울기뿐이에요.

공을 한 걸음씩 눌러 내려보내봐요. 발밑 기울기가 가리키는 더 낮은 쪽으로 굴러 손실이 줄어요.

한 걸음 내려갈 때마다
공의 높이, 곧 손실이 줄었죠.
바닥이 안 보여도 괜찮아요.
발밑이 기운 쪽만 알면
내려가는 방향은 늘 알 수 있으니까요.
방향을 알았으면 다음은
실제로 값을 얼마나 바꿀지예요.
그 한 걸음을 어떻게 옮기는지 볼까요?

값을 조금씩 고쳐요

여기서 값은 우리가 바꿀 수 있는
손잡이 같은 거예요.
이 손잡이를 돌리면 손실이 오르내려요.
발밑 기울기를 보면
손잡이를 어느 쪽으로 돌려야
손실이 줄어드는지 알 수 있어요.
그 방향으로 값을 조금만 바꿔요.
한 번에 확 바꾸지 않고 조금씩이에요.
그러면 손실이 한 칸 내려가죠.
이걸 자꾸 반복하는 게 핵심이에요.

한 걸음 버튼을 눌러봐요. 기울기 방향으로 값이 조금 바뀌고, 손실이 그만큼 줄어들어요.

걸음을 옮길수록
값이 골짜기 가운데로 다가가고
손실 막대가 점점 짧아졌죠.
기울기가 가파른 곳에서는
걸음 폭도 자연스레 커 보여요.
바닥에 가까워질수록 기울기가 완만해져
걸음이 잔잔해지고요.
그런데 여기서 한 가지 정해야 할 게 있어요.
한 걸음을 얼마나 크게 옮길까요?

보폭이 너무 크면 건너뛰어요

한 걸음의 크기를 보폭이라고 해요.
학습에서는 이걸 학습률이라고 부르죠.
보폭이 크면 빨리 내려갈 것 같지만
함정이 있어요.
바닥 근처에서 보폭이 너무 크면
바닥을 그냥 건너뛰어
반대편 비탈로 튀어 올라가요.
그러다 좌우로 왔다 갔다 하며
오히려 손실이 커지기도 해요.
반대로 보폭이 너무 작으면
안전하지만 내려가는 데 한참 걸려요.

작은 보폭과 큰 보폭을 골라 걸어봐요. 작으면 천천히 바닥으로, 너무 크면 바닥을 건너뛰어 반대편으로 튀어요.

작은 보폭은 차근차근,
너무 큰 보폭은 바닥을 넘겨
좌우로 튀는 걸 봤죠.
그래서 보폭은 너무 크지도
너무 작지도 않게 골라야 해요.
적당한 보폭이면 빠르면서도
바닥에 잘 자리 잡아요.
자, 알맞은 보폭으로
끝까지 걸어 바닥에 닿아 볼까요?

걸음을 반복해 바닥에 닿아요

이제 방법은 다 모였어요.
기울기로 방향을 정하고,
알맞은 보폭으로 한 걸음 옮기고,
또 기울기를 보고 한 걸음.
이걸 계속 반복하면
값은 골짜기 바닥으로 다가가요.
바닥에 가까워질수록 기울기가 거의 평평해져서
걸음 폭도 저절로 작아져요.
그래서 마지막엔 살살 멈춰요.
그 멈춘 자리가 손실이 가장 작은 곳이에요.

한 걸음씩 계속 눌러봐요. 바닥에 가까워질수록 걸음이 작아지며 손실이 가장 작은 지점에 수렴해요.

걸음을 거듭하니
공이 골짜기 바닥에 딱 자리 잡았죠.
손실 막대도 가장 짧아졌어요.
안개 속에서도 발밑 기울기만 믿고
한 걸음씩 내려와 바닥에 닿은 거예요.
멀리 내다보지 않아도,
지금 이 자리에서 가장 낮은 쪽으로
조금씩 고쳐가면 결국 도착해요.
이제 전체를 한 번 정리해봐요.

정리해볼까요

한 줄로 모으면 이래요.
손실은 가운데가 낮은 골짜기 모양이에요.
안개 때문에 바닥은 안 보이지만
발밑 기울기는 느낄 수 있어요.
기운 쪽으로 값을 조금 고치면
손실이 한 칸 내려가요.
이 걸음을 반복하면 바닥에 닿아요.
걸음의 크기인 보폭은
너무 크면 건너뛰고 너무 작으면 느려요.
기울기 느껴 한 걸음씩 내려가기, 그게 경사하강이에요.

핵심을 차례로 눌러 되짚어봐요. (손실은 골짜기 → 기울기로 방향 → 한 걸음씩 고치기 → 보폭이 중요 → 바닥에 수렴)

이제 손실을 줄이는
가장 기본이 되는 방법을 알게 됐어요.
기울기를 느껴 한 걸음씩 고쳐가는 이 솜씨가
기계가 스스로 배우는 비결이에요.
수많은 손잡이를 같은 방식으로
조금씩 고치면서 기계는 똑똑해져요.
다음엔 이 걸음을 더 잘 옮기는
방법들을 함께 이어서 살펴봐요.