Corregir poco a poco: descenso de gradiente

Baja por una colina con niebla

Antes aprendimos sobre la pérdida.
La pérdida es la suma de equivocarse,
y cuanto menor es, mejor.
Entonces, ¿cómo bajamos la pérdida?
Si dibujamos la pérdida frente al valor,
parece un valle hundido en el centro.
El fondo del valle es donde la pérdida es menor.
Solo bajamos hacia ese fondo,
pero la niebla lo oculta de la vista.
Lo único que vemos es la pendiente bajo los pies.

Toca para mandar la bola hacia abajo paso a paso. Rueda hacia el lado bajo que marca la pendiente y la pérdida baja.

Cada paso hacia abajo
bajó la altura de la bola, es decir, la pérdida.
No importa que el fondo no se vea.
Si solo sabemos hacia dónde se inclina el suelo,
siempre sabemos la dirección que baja.
Una vez sabida la dirección, lo siguiente es
cuánto cambiamos en realidad el valor.
¿Vemos cómo se da ese paso?

Corrige el valor poco a poco

Aquí el valor es como una perilla
que podemos girar.
Gira esta perilla y la pérdida sube o baja.
Mirar la pendiente bajo los pies
nos dice hacia dónde girar la perilla
para que la pérdida baje.
Cambiamos el valor un poco hacia ahí.
No un cambio grande de golpe, sino poco a poco.
Entonces la pérdida baja un escalón.
Repetir esto una y otra vez es la clave.

Toca el botón de un paso. El valor se mueve un poco en la dirección de la pendiente y la pérdida baja otro tanto.

Al dar más pasos
el valor se mueve hacia el centro del valle
y la barra de pérdida se acorta.
Donde la pendiente es pronunciada
el paso se ve naturalmente más grande.
Más cerca del fondo la pendiente se suaviza,
así que los pasos se vuelven suaves.
Pero aquí hay algo que debemos decidir.
¿De qué tamaño debe ser un paso?

Un paso muy grande se pasa de largo

El tamaño de un paso se llama el paso.
En el aprendizaje lo llamamos tasa de aprendizaje.
Un paso grande parece bajar rápido,
pero hay una trampa.
Cerca del fondo, si el paso es muy grande,
simplemente se salta el fondo
y rebota subiendo la pendiente opuesta.
Luego oscila a izquierda y derecha
y la pérdida hasta puede crecer.
Al revés, un paso muy pequeño
es seguro pero tarda muchísimo en bajar.

Elige un paso pequeño o grande y camina. El pequeño llega despacio al fondo; el muy grande se pasa y rebota al otro lado.

Un paso pequeño va paso a paso,
mientras que uno muy grande se pasa del fondo
y rebota de lado a lado, como vimos.
Así que el paso debe elegirse
ni muy grande ni muy pequeño.
Un paso sensato es rápido
y aun así se asienta bien en el fondo.
Ahora, con el paso correcto,
¿caminamos hasta el fondo?

Repite pasos hasta llegar al fondo

Ahora todas las piezas están reunidas.
Fija la dirección por la pendiente,
da un paso con un paso sensato,
mira otra vez la pendiente, un paso más.
Sigue repitiendo esto
y el valor se acerca al fondo del valle.
Más cerca del fondo la pendiente casi se aplana,
así que los pasos se encogen por sí solos.
Por eso al final se detiene con suavidad.
Ese punto de parada es donde la pérdida es menor.

Sigue tocando un paso cada vez. Al acercarse al fondo los pasos se encogen, convergiendo al punto de menor pérdida.

Tras paso sobre paso
la bola quedó justo en el fondo del valle.
La barra de pérdida se hizo la más corta.
Hasta en la niebla, fiándose solo de la pendiente bajo los pies,
bajó un paso cada vez y llegó al fondo.
Sin mirar muy adelante,
corrigiendo poco a poco hacia el lado más bajo
desde donde estás, al final llegas.
Ahora resumamos todo.

Resumamos

Reunido en una línea, es esto.
La pérdida tiene forma de valle bajo en el centro.
La niebla oculta el fondo,
pero la pendiente bajo los pies se siente.
Corrige el valor un poco hacia el lado que baja
y la pérdida baja un escalón.
Repite este paso y llegas al fondo.
El paso, el tamaño de un paso,
se pasa si es muy grande y se arrastra si es muy pequeño.
Siente la pendiente y baja poco a poco; eso es el descenso de gradiente.

Toca los puntos clave en orden para repasar. (la perdida es un valle -> direccion por la pendiente -> corrige paso a paso -> el paso importa -> converge al fondo)

Ahora conoces la forma más básica
de bajar la pérdida.
Esta maña de sentir la pendiente y corregir paso a paso
es el secreto de una máquina que aprende sola.
Moviendo incontables perillas del mismo modo,
un poco cada vez, la máquina se vuelve lista.
La próxima, sigamos explorando juntos
formas de dar este paso aún mejor.