Gradiente de una función
Imagina que estás en la ladera de una montaña cubierta de niebla. No ves nada delante, pero sientes con claridad la pendiente bajo tus pies. Solo con eso sabes hacia dónde se sube con más inclinación, y esa dirección es el gradiente. En un campo escalar, donde cada punto lleva un valor como la altura o la temperatura, es la flecha que apunta hacia donde el valor crece más rápido. Es fácil fijarse solo en su dirección, pero su longitud también significa algo: cuanto más empinada la ladera, más larga la flecha. Con esta sola flecha en la mano, el diseño de senderos, la dirección en que fluye el calor y el descenso de gradiente que entrena a la IA quedan ensartados en un mismo hilo.
Arrastra la sonda sobre el campo de alturas sombreado en color y, dondequiera que la pongas, la sigue una flecha blanca. Esa flecha apunta hacia donde se sube con más inclinación desde ese lugar: el gradiente. Cuanto más cerca del pico de arriba a la derecha, más suave la pendiente y más corta la flecha; en terreno empinado se alarga. Su longitud, el tamaño de la pendiente, aparece abajo como un número. Así, esta flecha guarda a la vez por dónde se sube más rápido y cuán empinada es la subida. En una llanura plana no hay adónde subir, así que la flecha se reduce casi a 0.
Las curvas de nivel de un mapa unen puntos de igual altura, y el gradiente las corta exactamente en ángulo recto en todas partes. La razón es sencilla. Si caminas a lo largo de una curva de nivel, tu altura no cambia, así que la subida es 0; la forma más rápida de subir no tiene más remedio que cruzar la curva de frente. La figura es una cúpula con su cima en el origen, así que las curvas de nivel son círculos concéntricos. Mueve la sonda y compruébalo: el gradiente, la flecha dorada, y la tangente a la curva de nivel, la línea azul, mantienen 90 grados en todas partes. En esta figura la longitud de la flecha es fija para que solo se vea su dirección, pero un gradiente real se alarga donde las curvas de nivel se apiñan, es decir, donde la pendiente es fuerte.
El gradiente también es un vector, así que se separa en una componente horizontal y otra vertical. La componente horizontal es cuán rápido sube el valor al ir hacia el este (∂f/∂x), y la vertical, cuán rápido sube al ir hacia el norte (∂f/∂y). Estas dos son las derivadas parciales: pendientes medidas en una dirección mientras todo lo demás se mantiene quieto un momento. Arrastra la sonda y la componente este, verde, y la componente norte, naranja, se combinan en la flecha blanca del gradiente, mientras la ecuación de abajo muestra los valores de ambas componentes en los mismos colores. El montaje que usamos en «Un vector es un movimiento», leer un vector como tanto de î más tanto de ĵ, funciona aquí exactamente igual.
Si el gradiente apunta cuesta arriba, su opuesto (−∇f) es el camino más rápido hacia abajo. Suelta una pelota y, en cada instante, da un paso en la dirección más empinada cuesta abajo desde donde está, hasta detenerse por fin en el fondo de un valle. El terreno de la figura tiene dos valles, así que arrastra la pelota dorada a distintos lugares y cada una rueda hacia un valle cercano a su punto de partida; la línea blanca marca el camino y el pequeño círculo, el lugar donde se detiene. Eso es el descenso de gradiente. Entrenar un modelo de IA funciona igual: sobre un paisaje de error, baja paso a paso siguiendo −∇(error) para encontrar el valle donde el error es menor. Ajusta miles de millones de números con exactamente el mismo principio que hacer rodar una pelota montaña abajo.
Hay lugares donde el gradiente se anula y desaparece: la cima de un pico, el fondo de un valle y un punto de silla. Allí no hay dirección para subir ni para bajar, así que la flecha desaparece por completo. La figura tiene un pico a la izquierda y un valle a la derecha. Arrastra la sonda para encontrar dónde la flecha se reduce a 0, y el punto crece en dorado con una señal de que es plano. Estos lugares importan porque cualquier problema de hacer algo lo más grande o lo más pequeño posible se convierte en el problema de encontrar los puntos donde ∇f = 0. El diseño más barato, la estructura más fuerte, el error más pequeño: todos funcionan así. En un óptimo, el terreno siempre es plano. A partir de la próxima lección pasamos de los escalares a cómo cambia de un punto a otro un campo vectorial en sí.