Qué es el sobreajuste
Imagina un amigo que, la noche antes de un examen, memoriza todas las respuestas del cuaderno de ejercicios. Si salen exactamente las mismas preguntas, acierta todo. Pero si aparece una pregunta con solo los números un poco cambiados, todo se le derrumba, porque memorizó respuestas sin entender el principio. El aprendizaje automático tiene exactamente la misma trampa. Si un modelo memoriza sus datos de entrenamiento enteros, saca 100 en las preguntas que ya vio, pero se equivoca en las que no conoce. Esto se llama sobreajuste.
Memorizar todo da una nota perfecta en el entrenamiento
Aquí hay unos puntos dispersos. La tarea del modelo es encontrar una curva suave que capte la tendencia que hay debajo de ellos. Pero si se pone codicioso, puede doblar la curva en ondas para que pase por todos y cada uno de los puntos.
Así, todos los puntos de entrenamiento quedan sobre la curva, y la nota de entrenamiento es un 100 redondo. Parece perfecto, pero en realidad solo memorizó dónde están los puntos.
Toca el botón para activar la curva ondulada que memoriza todos los puntos. Como pasa por todos, la precisión de entrenamiento llega al 100 por ciento.
La curva pasó exactamente por todos los puntos, y la nota de entrenamiento llegó a 100. Se siente bien, pero no hay que detenerse aquí. Los datos reales casi siempre traen vaivenes casuales que se colaron al medir, es decir, ruido.
Una curva que pasa por todos los puntos siguió no solo la tendencia real sino también ese ruido. Por qué memorizar es un problema se ve en cuanto se agrega un punto nuevo.
Cuando llegan datos nuevos, se derrumba
La verdadera prueba de una curva que memorizó es un punto nuevo que nunca vio. Un punto nuevo viene de la misma tendencia que los de entrenamiento, así que una curva que captó bien la tendencia debería quedar razonablemente cerca.
Pero la curva memorizada oscila con fuerza entre los puntos de entrenamiento, así que cerca de un punto nuevo señala una altura completamente equivocada. Saca 100 en lo que ya vio, pero falla por mucho en lo nuevo.
Toca un círculo hueco para agregar un punto nuevo. La curva memorizada falla por mucho en ese lugar, lo que muestra que es débil con datos que no vio.
En el punto nuevo, la curva falló por mucho. Tan perfecta en los puntos de entrenamiento, queda indefensa ante un punto que no vio. Eso es, en esencia, el sobreajuste.
Es igual que el amigo que memorizó respuestas y se derrumba ante una pregunta con los números cambiados. Por eso, lo que de verdad queremos saber no es la nota de entrenamiento, sino la nota con datos que el modelo nunca vio. La capacidad de rendir bien incluso con datos no vistos se llama generalización.
Dividir en entrenamiento, validación y prueba
Para medir la habilidad con datos no vistos, hay que apartar y esconder de antemano una parte de los datos. Por eso los datos disponibles se dividen en tres. La mayoría se usa como datos de entrenamiento para que el modelo aprenda, y una parte se guarda como datos de validación para revisar a mitad de camino si el aprendizaje va bien.
Los datos de prueba restantes no se tocan hasta el final y se miran una sola vez. Solo así la calificación imita un examen realmente nuevo.
Toca los puntos para repartirlos en las casillas de entrenamiento, validación y prueba. Cuando las tres estén llenas, todo estará listo para evaluar con datos de prueba que el modelo no vio.
Los datos quedaron divididos en tres grupos. La clave es no mostrar nunca los datos de prueba durante el entrenamiento: si se resuelven las preguntas del examen de antemano, ya no es un examen.
Los datos de validación también sirven para decidir cuándo detener el entrenamiento. Si la pérdida de entrenamiento sigue bajando mientras la de validación empieza a subir otra vez, empezó la memorización, así que se detiene el entrenamiento. Esto se llama parada temprana.
Ni demasiado simple ni demasiado complejo
Ahora comparemos tres modelos. Un modelo demasiado simple intenta resolverlo todo con una sola recta y no puede seguir la curva que dibujan los puntos. Esto es subajuste, un estado en el que aprendió demasiado poco.
Un modelo demasiado complejo memoriza todos los puntos y es débil con datos nuevos. El modelo bien ajustado del medio capta con suavidad el patrón que recorre el conjunto, no cada punto suelto.
Toca los tres modelos por turno para compararlos. El demasiado simple se ajusta mal, el demasiado complejo memoriza y ondula, y solo el bien ajustado rinde también con datos nuevos.
La diferencia entre los tres modelos se vio de un vistazo. Si es demasiado simple, pierde el patrón; si es demasiado complejo, memoriza y oscila. Solo el modelo bien ajustado rindió parejo, tanto con los datos de entrenamiento como con los no vistos.
Aprender bien no es subir la nota de entrenamiento a 100, sino rendir de forma estable con datos que el modelo nunca vio. Para evitar el sobreajuste, también se reúnen más datos o se agrega una penalización que impide que los pesos crezcan demasiado.
Resumen
En resumen: una curva ondulada que memorizó todos los puntos saca 100 solo en el entrenamiento y es débil con puntos nuevos. Eso es el sobreajuste. Entender de verdad es captar el patrón que recorre el conjunto.
Por eso los datos se dividen en entrenamiento, validación y prueba, y la habilidad se mide con datos no vistos. Un modelo bien ajustado, ni demasiado simple ni demasiado complejo, es el que mejor generaliza.
Toca los puntos clave en orden para repasar. (memorizar todo da 100 solo en el entrenamiento → débil con datos nuevos → dividir en entrenamiento, validación y prueba → medir la habilidad real con datos no vistos)
Ahora conoces la diferencia entre memorizar y entender de verdad. Una nota de entrenamiento alta no hace bueno a un modelo; lo que importa es no tambalearse ante datos que nunca vio.
Pero para captar bien los patrones, ante todo los datos que se le dan al modelo tienen que ser buenos. Qué datos se reúnen y qué características se eligen de ellos cambia mucho el resultado. La próxima lección, sobre datos y características, se ocupa de esto.