그래디언트는 가장 가파른 오르막을 가리킨다
안개 낀 산비탈에 서 있다고 하자. 앞은 한 치도 보이지 않는데 발밑의 경사만은 또렷하게 느껴진다. 그것만으로도 어느 쪽이 가장 가파르게 올라가는지는 알 수 있고, 그 방향이 바로 그래디언트예요. 높이나 온도처럼 점마다 값 하나가 얹힌 스칼라 장에서, 값이 가장 빨리 커지는 쪽을 가리키는 화살표다. 방향만 읽고 지나치기 쉽지만 길이에도 뜻이 있어서, 비탈이 가파를수록 화살표는 길어진다. 이 화살표 하나를 손에 쥐면 등산로 설계와 열이 흐르는 방향, AI를 학습시키는 경사하강법까지 한 줄로 꿰여요.
색으로 칠한 높이 장 위에서 탐침을 끌면, 어느 자리에 놓든 흰 화살표가 하나씩 따라붙는다. 그 자리에서 가장 가파르게 올라가는 방향, 곧 그래디언트예요. 오른쪽 위의 봉우리에 가까워질수록 경사가 완만해져 화살표가 짧아지고, 급한 비탈에서는 길게 자란다. 아래에는 그 길이, 곧 기울기의 크기가 숫자로 적힌다. 그러니까 이 화살표는 어디로 올라야 가장 빠른지와 얼마나 가파른지를 한꺼번에 담고 있는 셈이다. 평평한 들판이라면 더 오를 데가 없으니 화살표는 거의 0으로 잦아들어요.
지도의 등고선은 같은 높이를 이어 놓은 선이고, 그래디언트는 그 선과 어디서나 정확히 직각으로 만난다. 까닭은 단순해요. 등고선을 따라 걸으면 높이가 그대로여서 오르막이 0이니, 가장 빨리 오르는 방향은 그 선을 정면으로 가로지르는 수밖에 없다. 그림은 원점에 봉우리가 있는 돔이라 등고선이 동심원으로 그려진다. 탐침을 옮겨 가며 확인하면 금색 화살표인 그래디언트와 파란 선인 등고선 접선이 어디서든 90도를 유지한다. 이 그림의 화살표는 방향만 보이도록 길이를 고정해 두었지만, 실제 그래디언트는 등고선이 촘촘하게 몰린 자리일수록, 곧 비탈이 급한 곳일수록 길어져요.
그래디언트도 결국 벡터라서 가로 성분과 세로 성분으로 쪼갤 수 있다. 가로 성분은 동쪽으로 갈 때 값이 얼마나 빨리 오르는가(∂f/∂x)이고, 세로 성분은 북쪽으로 갈 때 얼마나 빨리 오르는가(∂f/∂y)다. 이 둘이 곧 편미분이에요. 한 방향만 남기고 나머지는 잠시 고정한 채 잰 기울기다. 탐침을 끌면 초록 동쪽 성분과 주황 북쪽 성분이 합쳐져 흰 그래디언트 화살표가 되고, 아래 식에 두 성분의 값이 같은 색으로 적혀요. 「벡터는 움직임이다」에서 벡터를 î 얼마와 ĵ 얼마의 합으로 읽었던 그 조립이 여기서도 그대로 작동한다.
그래디언트가 오르막을 가리킨다면, 그 반대(−∇f)가 가장 빨리 내려가는 길이다. 공을 떨어뜨리면 매 순간 제자리에서 가장 가파른 내리막으로 한 걸음씩 옮겨 가다가 결국 골짜기 바닥에 멈춘다. 그림의 지형에는 골짜기가 둘이라, 금색 공을 여기저기 끌어다 놓으면 저마다 출발한 자리에서 가까운 골로 굴러들고, 흰 선이 그 길을, 작은 원이 멈춘 자리를 표시한다. 이것이 경사하강법이에요. AI 모델을 학습시킬 때도 오차라는 지형 위에서 −∇(오차)를 따라 한 걸음씩 내려가 오차가 가장 작은 골을 찾는다. 산에서 공을 굴리는 것과 똑같은 원리로 수십억 개의 숫자를 조정하는 셈이에요.
그래디언트가 0으로 사라지는 자리가 있다. 봉우리 꼭대기와 골짜기 바닥, 그리고 안장점이다. 그런 곳에서는 더 오를 방향도 내릴 방향도 없어서 화살표가 아예 자취를 감춘다. 그림에는 왼쪽에 봉우리, 오른쪽에 골짜기가 있다. 탐침을 끌어 화살표가 0으로 줄어드는 자리를 찾으면 점이 금색으로 커지며 평평하다는 표시가 뜬다. 이 자리가 중요한 까닭은, 무언가를 최대나 최소로 만드는 문제가 결국 ∇f = 0인 점을 찾으라는 문제로 바뀌기 때문이다. 가장 싼 설계와 가장 강한 구조, 가장 작은 오차가 모두 그렇다. 최적점에서는 언제나 지형이 평평해요. 다음 강부터는 스칼라가 아니라 벡터 장 자체가 점마다 어떻게 변하는지로 넘어간다.