El gradiente apunta directo cuesta arriba
Imagina estar en una ladera con niebla. Aun a ciegas, solo sintiendo la pendiente bajo los pies, sabes qué dirección sube más empinada. Esa dirección es el gradiente. En un punto de un campo escalar (altura, temperatura), es la flecha que apunta hacia donde el valor crece más rápido. No solo la dirección; la longitud también significa algo: cuanto más empinada, más larga. Domina solo el gradiente y el diseño de senderos, la dirección en que fluye el calor y el descenso de gradiente que entrena la IA se enhebran en una sola línea.
Arrastra la sonda sobre el campo de altura. Donde la pongas, una flecha la sigue. Esta flecha es la dirección de ascenso más empinado en ese sitio — el gradiente. Cerca de la cima la pendiente se suaviza y la flecha se acorta; en un flanco empinado se alarga. La flecha dice dos cosas a la vez: qué dirección sube más rápido (dirección) y qué tan empinada es (longitud). En una llanura plana la flecha sería casi cero, porque no hay a dónde subir.
Piensa en las curvas de nivel de un mapa — líneas que unen puntos de igual altura. El gradiente siempre corta esas curvas en ángulo recto exacto. ¿Por qué? Caminar a lo largo de una curva de nivel mantiene tu altura igual (cero subida), así que la vía más rápida hacia arriba tiene que cruzar esa línea de frente. Arrastra la sonda. La flecha dorada (gradiente) y la línea azul (la tangente a la curva) se mantienen a 90 grados en todas partes. Donde las curvas se apiñan la pendiente es empinada, así que ahí la flecha es larga.
El gradiente también es un vector, así que se separa en una parte a lo ancho y una hacia arriba. La parte a lo ancho es qué tan rápido sube el valor al ir al este (∂f/∂x); la parte hacia arriba es qué tan rápido sube al ir al norte (∂f/∂y). Estas dos son justamente las derivadas parciales — la pendiente que mides mirando en una dirección mientras fijas la otra por un momento. Arrastra la sonda y las partes verde (este) y naranja (norte) se combinan en la flecha negra del gradiente. El mismo ensamblaje que viste en la lección de vectores, "tanto de î más tanto de ĵ", opera aquí.
Si el gradiente va cuesta arriba, su opuesto (−∇f) es la vía más rápida cuesta abajo. Deja caer una bola. En cada instante da un paso por el descenso local más empinado y finalmente descansa en el fondo de un valle. Arrastra la semilla y rueda al valle que esté cerca de su inicio. Esto es el descenso de gradiente. Cuando una IA se entrena, baja por −∇(error) sobre el paisaje del "error", paso a paso, para hallar el valle donde el error es mínimo. Ajustar miles de millones de números corre sobre el mismísimo principio de una bola rodando cuesta abajo.
Hay un tipo de sitio donde el gradiente se vuelve cero: la cima de un pico, el fondo de un valle y un punto de silla. Ahí ninguna dirección sube (ni baja) más, así que la flecha desaparece. Arrastra la sonda hasta donde la flecha se reduce a cero. ¿Por qué importa? Porque todo problema de hacer algo lo más grande o lo más pequeño se convierte en "halla el punto donde ∇f = 0". El diseño más barato, la estructura más fuerte, el error más chico — en el óptimo el paisaje siempre es plano. Desde la próxima lección pasamos de escalares a cómo cambia un campo vectorial mismo de punto a punto.