勾配は最も急な上り坂を指す
霧のかかった山の斜面に立っていると考えてみてください。前が見えなくても、足元の傾きさえ感じれば「どちらが一番急に登るか」は分かりますよね。その方向こそが勾配です。スカラー場(高さ、温度)の一点で、値が最も速く大きくなる方を指す矢印。向きだけでなく長さにも意味があります。急なほど長い。勾配一つを押さえれば、登山道の設計、熱が流れる向き、そして AI を学習させる勾配降下法まで一本に貫かれます。
高さの場の上で探針を動かしてみてください。どの点に置いても、矢印が一つついてきます。この矢印が、その場所で最も急に登る方向、勾配です。頂上に近づくほど傾きがゆるんで矢印は短くなり、急な斜面では長くなります。矢印は二つを同時に語ります。どちらへ登れば最も速いか(向き)、どれだけ急か(長さ)。平らな野原なら矢印はほぼ0でしょう。登る先がないからです。
地図の等高線を思い浮かべてください。同じ高さを結ぶ線ですね。勾配はこの等高線と、つねにきっかり直角で交わります。なぜでしょう? 等高線に沿って歩けば高さは変わらず(上りはゼロ)、最も速く登る方向はその線を真正面から横切るしかないからです。探針を動かしてみてください。金の矢印(勾配)と青い線(等高線の接線)が、どこでも90度を保ちます。等高線が混んでいる所は斜面が急で、矢印も長くなります。
勾配も結局ベクトルなので、横・縦の成分に分けられます。横成分は東へ進むとき値がどれだけ速く上がるか(∂f/∂x)、縦成分は北へ進むときどれだけ速く上がるか(∂f/∂y)です。この二つがまさに偏微分です。一方向だけ見て、残りはひとまず固定して測った傾きですね。探針を動かすと、緑(東)と橙(北)の二成分が合わさって黒い勾配の矢印になります。ベクトルを「î いくつ + ĵ いくつ」で見たあの組み立てが、ここでも同じように働きます。
勾配が上りなら、その反対(−∇f)は最も速く下る道です。ボールを落としてみてください。瞬間ごとにその場で最も急な下りへ一歩ずつ下り、やがて谷底で止まります。種をあちこち動かすと、出発した場所から近い谷へ転がり込みます。これが勾配降下法です。AI モデルを学習させるとき、「誤差」という地形で −∇(誤差)に沿って一歩ずつ下り、誤差が最も小さい谷を探します。山でボールを転がすのと同じ原理で、数十億個の数を調整するのです。
ちょうど一種類だけ、勾配が0になる場所があります。峰の頂上、谷の底、そして鞍点です。そこではどちらへも、もう登る(または下る)方向がないので矢印が消えます。探針を動かして、矢印が0に縮む場所を探してみてください。なぜ大事かというと、何かを最大・最小にする問題は、すべて「∇f = 0 となる点を探せ」に変わるからです。最も安い設計、最も強い構造、最も小さい誤差。最適点では地形はつねに平らです。次の講からは、スカラーではなくベクトル場そのものが点ごとにどう変わるかへ進みます。