Mínimos cuadrados y proyección
Imagina la sombra que un punto en el aire proyecta sobre el suelo cuando el sol está justo encima. Esa sombra es el lugar del suelo más cercano al punto original, y la línea que baja del punto a su sombra siempre forma un ángulo recto con el suelo. Eso es una proyección. Proyecta de la misma manera, y a la vez, las sombras de decenas de puntos de datos en lugar de uno solo y tendrás los mínimos cuadrados; la recta que pasa más cerca de todos los puntos es la recta de regresión. Cuando la IA ajusta un modelo a los datos, al final hace este único movimiento: proyectar una sombra.
El punto azul está fijo. Gira con el deslizador el ángulo de la recta que pasa por el origen y observa lo que cambia. El punto dorado de la recta es la sombra del punto azul, el lugar de la recta más cercano a él. La línea roja punteada que baja del punto azul a su sombra siempre forma un ángulo recto con la recta; eso es el residuo. Cuando la recta apunta justo al punto azul, el residuo se reduce a 0 y la sombra cae sobre el punto; cuanto más se desvía la recta, más largo es el residuo. El segmento dorado del origen a la sombra es la longitud de la proyección, y abajo aparecen juntas la longitud de la proyección p·u y la longitud del residuo, para ver cómo encajan las dos.
Esta vez fija la recta a 30 grados y arrastra tú el punto azul. Lo muevas adonde lo muevas, la sombra dorada de la recta lo sigue, y la línea roja punteada del punto a su sombra siempre forma un ángulo recto con la recta. Ese ángulo recto es la clave. Cuando el residuo es perpendicular a la recta, su longitud es la distancia más corta del punto a la recta; cualquier otro punto de la recta está más lejos. Aleja el punto de la recta y el valor de la distancia de abajo crece; pégalo a la recta y se acerca a 0. Lo más cercano y lo perpendicular son dos caras del mismo hecho.
¿Por qué la longitud de la sombra es p·u? Toma la recta como el eje x (u=e1) y cambia con el deslizador solo el ángulo θ del vector azul, cuya longitud está fija en 3. La sombra del vector sobre el eje x mide |p|cosθ, y la línea roja punteada que baja en vertical produce esa sombra dorada. Con θ en 0, el vector está sobre la recta y la sombra mide los 3 enteros; cuando θ llega a 90 grados, el vector se vuelve perpendicular a la recta y la sombra desaparece en 0. Este |p|cosθ es justamente la definición del producto escalar p·u. El producto escalar es, al final, una regla que mide la longitud de la sombra que un vector proyecta en la dirección de otro.
Ahora no hay un punto, sino siete. Mueve con los deslizadores la pendiente y la ordenada al origen de la recta: la línea roja punteada vertical que va de cada punto a la recta dorada es el residuo de ese punto, y la suma de sus cuadrados es la SSE (suma de errores al cuadrado). Cuanto mejor pasa la recta por el centro de los puntos, más cortos son los residuos y menor es el valor de abajo. Después de buscar a mano la mejor recta, pulsa «Mejor ajuste» y la pendiente y la ordenada saltan a los valores exactos que da la fórmula de mínimos cuadrados, mientras la suma de errores al cuadrado cae al menor valor posible. Esa es la recta de regresión. Comparar cuánto se acercó tu recta hecha a mano también es buena práctica.
Por último, vistos geométricamente, los mínimos cuadrados se cierran en una sola línea. Hay un vector objetivo azul, y lo único que el modelo puede producir son puntos de la recta que traza el vector de dirección dorado. La mejor aproximación es la proyección del objetivo sobre esa recta, y el residuo que queda, r=b−p, tiene que ser perpendicular a la dirección del modelo. Activa el interruptor y esa caída perpendicular aparece como una línea roja punteada, mientras abajo se ve que a·r está cerca de 0. Esta condición de ángulo recto es exactamente la ecuación normal aᵀ(b−Ax)=0. El residuo ortogonal del primer bloque se ha convertido aquí directamente en una ecuación. Los mínimos cuadrados siempre consisten en poner el residuo perpendicular al espacio del modelo.