그래디언트는 가장 가파른 오르막을 가리킨다
안개 낀 산비탈에 서 있다고 해봐요. 앞이 안 보여도, 발밑 경사만 느끼면 '어느 쪽이 제일 가파르게 올라가는지'는 알 수 있죠. 그 방향이 바로 그래디언트예요. 스칼라 장(높이, 온도) 위 한 점에서, 값이 가장 빨리 커지는 쪽을 가리키는 화살표. 방향만이 아니라 길이도 의미가 있어요. 가파를수록 길어요. 그래디언트 하나만 알면 등산로 설계, 열이 흐르는 방향, 그리고 AI를 학습시키는 경사하강법까지 한 줄로 꿰어져요.
높이 장 위에서 탐침을 끌어 보세요. 어느 점에 놓든 화살표 하나가 따라와요. 이 화살표가 그 자리에서 가장 가파르게 올라가는 방향, 그래디언트예요. 봉우리 쪽으로 갈수록 경사가 완만해져서 화살표가 짧아지고, 가파른 비탈에선 길어져요. 화살표가 두 가지를 동시에 말하는 거예요. 어디로 올라야 가장 빠른가(방향), 얼마나 가파른가(길이). 평평한 들판이라면 화살표는 거의 0이겠죠. 오를 데가 없으니까요.
지도의 등고선을 떠올려 보세요. 같은 높이를 잇는 선이죠. 그래디언트는 이 등고선과 항상 정확히 직각으로 만나요. 왜냐고요? 등고선을 따라 걸으면 높이가 그대로니까(오르막이 0), 가장 빨리 오르는 방향은 그 선을 정면으로 가로지를 수밖에 없어요. 탐침을 끌어 보세요. 골드 화살표(그래디언트)와 파란 선(등고선 접선)이 어디서든 90도를 유지하죠. 등고선이 촘촘한 곳은 비탈이 급한 곳이라 화살표도 길어요.
그래디언트도 결국 벡터라, 가로·세로 성분으로 쪼갤 수 있어요. 가로 성분은 동쪽으로 갈 때 값이 얼마나 빨리 오르나(∂f/∂x), 세로 성분은 북쪽으로 갈 때 얼마나 빨리 오르나(∂f/∂y)예요. 이 둘이 곧 편미분이에요. 한 방향만 보고 나머지는 잠시 고정해 잰 기울기죠. 탐침을 끌면 초록(동쪽)·주황(북쪽) 두 성분이 합쳐져 검은 그래디언트 화살표가 돼요. 1강에서 벡터를 'î 얼마 + ĵ 얼마'로 봤던 그 조립이 여기서도 똑같이 작동해요.
그래디언트가 오르막이면, 그 반대(−∇f)는 가장 빨리 내려가는 길이에요. 공을 떨어뜨려 보세요. 매 순간 그 자리에서 가장 가파른 내리막으로 한 걸음씩 내려가 결국 골짜기 바닥에 멈춰요. 씨앗을 여기저기 끌어 보면, 출발한 자리에서 가까운 골로 굴러들어요. 이게 바로 경사하강법이에요. AI 모델을 학습시킬 때, '오차'라는 지형에서 −∇(오차)를 따라 한 걸음씩 내려가 오차가 가장 작은 골을 찾아요. 산에서 공 굴리는 거랑 똑같은 원리로 수십억 개 숫자를 조정해요.
딱 한 군데, 그래디언트가 0이 되는 자리가 있어요. 봉우리 꼭대기, 골짜기 바닥, 그리고 안장점이에요. 거기선 어느 쪽으로도 더 오를(또는 내릴) 방향이 없어서 화살표가 사라져요. 탐침을 끌어 화살표가 0으로 줄어드는 자리를 찾아보세요. 이게 왜 중요하냐면, 무언가를 최대·최소로 만드는 문제는 전부 '∇f = 0인 점을 찾아라'로 바뀌기 때문이에요. 가장 싼 설계, 가장 강한 구조, 가장 작은 오차. 최적점에선 늘 지형이 평평해요. 다음 강부터는 스칼라가 아니라 벡터 장 자체가 점마다 어떻게 변하는지로 넘어가요.