그래디언트는 가장 가파른 오르막을 가리킨다
안개 낀 산비탈에 서 있다고 하자. 앞은 한 치도 안 보이는데 발밑 경사만은 또렷하게 느껴진다. 그것만으로도 어느 쪽이 가장 가파르게 올라가는지는 알 수 있고, 그 방향이 바로 그래디언트예요. 높이나 온도처럼 점마다 값 하나가 얹혀 있는 스칼라 장에서 값이 가장 빨리 커지는 쪽을 가리키는 화살표다. 방향만 읽고 지나치기 쉽지만 길이에도 뜻이 있어서, 비탈이 가파를수록 화살표는 길어진다. 이 화살표 하나를 손에 쥐면 등산로 설계와 열이 흐르는 방향, AI를 학습시키는 경사하강법까지 한 줄로 꿰인다.
높이 장 위에서 탐침을 끌면 어느 자리에 놓든 화살표가 하나씩 따라붙는다. 그 자리에서 가장 가파르게 올라가는 방향, 곧 그래디언트예요. 봉우리에 가까워질수록 경사가 완만해져 화살표는 짧아지고, 급한 비탈에서는 길게 자란다. 그러니까 이 화살표는 어디로 올라야 가장 빠른지와 얼마나 가파른지를 한꺼번에 말하는 셈이다. 평평한 들판이라면 더 오를 데가 없으니 화살표는 거의 0으로 잦아든다.
지도의 등고선은 같은 높이를 이어 놓은 선이고, 그래디언트는 그 선과 어디서나 정확히 직각으로 만난다. 이유는 단순해요. 등고선을 따라 걸으면 높이가 그대로여서 오르막이 0이니, 가장 빨리 오르는 방향은 그 선을 정면으로 가로지르는 수밖에 없다. 탐침을 옮겨 가며 확인하면 골드 화살표인 그래디언트와 파란 선인 등고선 접선이 어디서든 90도를 유지한다. 등고선이 촘촘하게 몰린 자리는 그만큼 비탈이 급한 곳이라 화살표도 길어져요.
그래디언트도 결국 벡터라서 가로와 세로 성분으로 쪼갤 수 있다. 가로 성분은 동쪽으로 갈 때 값이 얼마나 빨리 오르는가(∂f/∂x)이고, 세로 성분은 북쪽으로 갈 때 얼마나 빨리 오르는가(∂f/∂y)다. 이 둘이 곧 편미분이에요. 한 방향만 남기고 나머지는 잠시 고정한 채 잰 기울기죠. 탐침을 끌면 초록색 동쪽 성분과 주황색 북쪽 성분이 합쳐져 검은 그래디언트 화살표가 된다. 1강에서 벡터를 'î 얼마 + ĵ 얼마'로 읽었던 그 조립이 여기서도 그대로 작동한다.
그래디언트가 오르막을 가리키면, 그 반대(−∇f)가 가장 빨리 내려가는 길이다. 공을 떨어뜨리면 매 순간 제자리에서 가장 가파른 내리막으로 한 걸음씩 옮겨 가다가 결국 골짜기 바닥에 멈춘다. 씨앗을 여기저기 끌어다 놓으면 저마다 출발한 자리에서 가장 가까운 골로 굴러든다. 이것이 경사하강법이에요. AI 모델을 학습시킬 때도 '오차'라는 지형 위에서 −∇(오차)를 따라 한 걸음씩 내려가 오차가 가장 작은 골을 찾는다. 산에서 공을 굴리는 것과 똑같은 원리로 수십억 개의 숫자를 조정하는 셈이죠.
그래디언트가 0으로 사라지는 자리가 있다. 봉우리 꼭대기와 골짜기 바닥, 그리고 안장점이다. 그런 곳에서는 더 오를 방향도 내릴 방향도 없어서 화살표가 아예 자취를 감춘다. 탐침을 끌어 화살표가 0으로 줄어드는 자리를 찾으면 감이 잡혀요. 이 자리가 중요한 이유는, 무언가를 최대나 최소로 만드는 문제가 결국 '∇f = 0인 점을 찾아라'로 바뀌기 때문이다. 가장 싼 설계와 가장 강한 구조, 가장 작은 오차가 모두 그렇다. 최적점에서는 언제나 지형이 평평해요. 다음 강부터는 스칼라가 아니라 벡터 장 자체가 점마다 어떻게 변하는지로 넘어간다.