Cómo funciona el descenso de gradiente

Bajar una colina con niebla

En la lección anterior dijimos que la pérdida es un número que mide cuánto se equivoca un modelo, y que cuanto menor, mejor. Entonces, ¿cómo se reduce? Si se pone uno de los valores del modelo en el eje horizontal y la pérdida para ese valor en el vertical, aparece la forma de un valle hundido en el medio.
El fondo del valle es donde la pérdida es menor. Basta con bajar hacia allí, pero en un modelo real no se puede ver este dibujo completo de antemano. Lo único que se sabe es la pendiente justo donde estás parado.

Toca bajar un paso. La pelota rueda hacia el lado más bajo que señala la pendiente bajo sus pies, y la pérdida baja.

Con cada paso hacia abajo, la altura de la pelota, es decir, la pérdida, bajó. No importa no ver el fondo: mientras sepas hacia dónde se inclina el suelo, siempre sabrás hacia dónde es abajo.
Si la bajada está a la derecha, se aumenta el valor; si está a la izquierda, se reduce. Ya sabes la dirección, así que la siguiente pregunta es cuánto cambiar de verdad el valor.

Corregir el valor de a poco

El valor aquí es como una perilla que se puede girar. La pendiente y la ordenada de la recta que vimos antes son justamente perillas de este tipo. Al girar la perilla, la pérdida sube o baja, y la pendiente bajo tus pies te dice hacia dónde girarla para que la pérdida baje.
Se cambia el valor apenas un poco en esa dirección. Dicho con palabras, el valor nuevo es el valor actual menos la pendiente multiplicada por un número pequeño, es decir, se mueve en sentido contrario a la pendiente, cuesta abajo. Repetir esto es la clave.

Toca corregir el valor un poco. El valor cambia un poco hacia donde señala la pendiente, y la pérdida baja en esa medida.

Con cada paso, el valor se acercó al centro del valle y la barra de pérdida se fue acortando. Donde la pendiente es empinada, se mueve mucho de una vez; más cerca del fondo, la pendiente se suaviza y los pasos se achican.
Eso pasa porque el tamaño de cada corrección es proporcional a la pendiente. Pero falta decidir una cosa: ese número pequeño por el que se multiplica la pendiente, el tamaño de cada paso. ¿Qué tan grande debe ser?

Un paso demasiado grande se pasa de largo

El número que fija el tamaño de cada paso se llama tasa de aprendizaje. Una tasa grande parece que te haría bajar más rápido, pero hay una trampa: cerca del fondo, si el paso es demasiado grande, se pasa de largo el fondo y se sube por la ladera del otro lado.
Luego se puede ir de un lado a otro, y la pérdida incluso puede crecer. En cambio, una tasa demasiado pequeña es segura, pero tarda muchísimo en llegar al fondo.

Elige un paso pequeño o uno grande y camina. Uno pequeño baja con calma hasta el fondo; uno demasiado grande salta por encima del fondo y rebota al otro lado.

El paso pequeño bajó con calma, mientras que el paso demasiado grande se pasó del fondo y rebotó de un lado a otro, alejándose cada vez más. Por eso la tasa de aprendizaje no tiene que ser ni demasiado grande ni demasiado pequeña.
En la práctica, se prueban varios valores para elegir uno, y también se suele achicar la tasa de a poco a medida que avanza el entrenamiento. Ahora caminemos hasta el final con un paso adecuado.

Repetir pasos hasta llegar al fondo

Ya está todo el método: la pendiente da la dirección, se da un paso del tamaño adecuado, se mira otra vez la pendiente y se da otro paso. Si se repite esto, el valor se acerca al fondo del valle.
Cuanto más cerca del fondo, más plana se vuelve la pendiente, así que los pasos se achican solos y al final casi no se mueve. Asentarse así en un lugar se llama converger.

Sigue tocando un paso. Más cerca del fondo los pasos se achican, y el valor converge en el punto donde la pérdida es menor.

Paso tras paso, la pelota se asentó en el fondo del valle y la barra de pérdida quedó lo más corta posible. Aun en la niebla, confiando solo en la pendiente bajo sus pies, bajó paso a paso y llegó al fondo.
La pérdida de un modelo real muchas veces no tiene la forma de este dibujo, con un solo valle. Si hay varios valles, puede quedarse en un valle poco profundo cercano en vez del fondo más hondo. Además, como hay millones de perillas, la pendiente se mide por separado para cada una y todas se corrigen a la vez. También se usa mucho medir la pendiente con pequeños lotes de datos cada vez.

Resumen

En resumen: si se dibuja la pérdida según un valor, aparece un valle. El fondo no se ve, pero la pendiente bajo los pies se puede medir, así que cambiar el valor un poco hacia la bajada reduce la pérdida. Repitiendo este paso, uno se acerca al fondo.
La tasa de aprendizaje, el tamaño de cada paso, se pasa del fondo si es demasiado grande y es lenta si es demasiado pequeña. Medir la pendiente y bajar paso a paso: eso es el descenso de gradiente.

Toca los puntos clave en orden para repasar. (la pérdida es un valle → la pendiente da la dirección → corregir paso a paso → el tamaño del paso importa → converger al fondo)

Ahora conoces la forma más básica de reducir la pérdida. Este método de medir la pendiente y corregir paso a paso es el secreto de cómo aprenden solas las máquinas.
Entonces, ¿dónde están realmente esas perillas? La próxima lección mira la neurona, la unidad más pequeña de una red neuronal, y cómo aprende ajustando sus perillas, llamadas pesos y sesgo.