Cómo funciona la retropropagación

Primero, predecir hacia adelante

Para dar una respuesta, una red hace fluir las señales hacia adelante.
Partiendo de la entrada,
pasa por cada capa a su turno,
y en la salida sale una predicción.
Es el flujo hacia adelante que vimos la lección pasada.
Pero una red recién construida
tiene sus pesos puestos algo al azar,
así que la predicción puede estar lejos de la correcta.
Miremos primero este flujo hacia adelante.

Toca para hacer fluir la señal hacia adelante una capa cada vez, de la entrada a la salida. Al final sale una predicción, pero aún difiere de la respuesta.

Salió una predicción, pero difiere de la respuesta.
Esta brecha es justo el error.
Medir cuánto se equivocó como un número
es lo que llamamos la pérdida.
Una pérdida grande significa muy equivocado,
y una pérdida cerca de cero significa buen acierto.
Nuestra meta es reducir esta pérdida.
Pero una red tiene incontables pesos.
Cuál debemos arreglar para bajar la pérdida?

Quién tiene la culpa del error?

La salida está mal.
Pero la salida no se equivoca sola.
La salida hizo su respuesta con la señal de la capa justo anterior,
y esa capa hizo la suya con la de antes.
Así que la culpa del error
no recae en un solo peso,
se reparte un poco
entre cada peso que tomó parte en la predicción.
Primero veamos el tamaño del error en la salida.

Compara la predicción de la salida con la respuesta. Toca para marcar el error (pérdida), y queda claro que hay que rastrear hacia atrás para hallar de dónde vino.

Vimos el tamaño del error en la salida.
Ahora debemos remontar este error.
Piénselo.
Cuando varias conexiones alimentan la salida,
algunas mandaron una señal grande
y otras una pequeña.
Cuánto mayor la señal de una conexión,
más contribuyó a la salida equivocada.
Así que la culpa de esa conexión también es mayor.

Devolver el error, al revés

Ahora viene la verdadera retropropagación.
Enviamos el error hacia atrás,
de la salida hacia la entrada, una capa cada vez.
La dirección opuesta exacta a ir hacia adelante.
Es como seguir las fichas caídas al revés
para hallar quién volcó la primera.
Cada vez que retrocedemos una capa,
cada conexión de esa capa
recibe su parte de cuánto causó el error.

Toca para enviar el error hacia atrás una capa cada vez, de la salida hacia la entrada. Al retroceder, cada conexión recibe una parte de culpa. Más grueso, más culpa.

Rastreamos hasta el final.
Ahora cada peso de la red
ha recibido su propia parte de culpa.
Algunos pesos contribuyeron mucho al error,
y otros casi no cargan culpa.
Lo llamativo es que desde un solo error en la salida,
las partes hasta de los pesos internos profundos
se calcularon todas.
Gracias a seguir las fichas de dominó al revés.

Arreglar cada peso según su parte

Ahora que sabemos la culpa, toca arreglar.
Recuerda el descenso de gradiente de la lección anterior.
Ese método de bajar un poco,
en la dirección donde la pérdida disminuye.
Ajustamos cada peso según su parte.
Los pesos con parte grande cambian mucho,
los de parte pequeña cambian solo un poco.
No lo arreglamos todo de golpe,
arreglar poco a poco es lo que importa.

Toca ajustar para arreglar cada peso según su parte, un paso por toque. Cada toque encoge la barra de pérdida, y predecir adelante de nuevo cae más cerca de la respuesta.

Cuánto más ajustamos, menor la pérdida.
Pero arreglar una vez no es el final.
Predecimos adelante otra vez,
medimos el error otra vez,
rastreamos atrás las partes otra vez,
y ajustamos esa medida otra vez.
Repite esta vuelta incontables veces
y la predicción de la red se acerca a la respuesta.
Así una red mejora por sí misma.

Resumamos

Reunido en una línea, es esto.
Primero haz fluir la señal adelante para una predicción.
Compara con la respuesta y mide el error como pérdida.
Envía esa pérdida de la salida hacia la entrada,
hacia atrás, para hallar la parte de cada peso.
Luego ajusta esa parte con descenso de gradiente.
Repite este predecir adelante, rastrear atrás, ajustar
incontables veces, y la predicción se acerca a la respuesta.
Es seguir las fichas de dominó al revés para hallar al culpable.

Toca los puntos clave en orden para repasar. (predecir adelante -> medir el error como pérdida -> rastrear atrás las partes -> ajustar según la parte)

Ahora sabes cómo una red neuronal arregla sus errores.
Fluye hacia adelante para dar una respuesta,
y cuando se equivoca rastrea el error hacia atrás,
averigua quién tiene la culpa,
y arregla cada peso un poco en esa medida.
Gracias a esta idea simple de rastrear al revés,
incluso una red grande con incontables pesos
puede aprender por sí misma.
Este es justo el secreto de cómo aprenden las máquinas listas de hoy.