La proyección es la sombra más cercana
Ilumina un palo y proyecta una sombra en el suelo. Esa sombra es el único punto del suelo más cercano al palo, y la línea que baja hasta ella siempre corta el suelo en ángulo recto. Eso es la proyección. Proyecta la sombra no de un punto sino de docenas de datos del mismo modo y obtienes los mínimos cuadrados: la recta que pasa lo más cerca posible de cada punto, la recta de regresión. Ajustar un modelo a los datos en IA es, al final, este mismo gesto de proyectar una sombra.
El punto azul p es fijo. Usa el deslizador para girar el ángulo de una recta que pasa por el origen. El punto dorado f sobre la recta es la sombra de p, el sitio de la recta más cercano a p. El segmento rojo discontinuo que baja de p a f siempre corta la recta en ángulo recto, y ese es el residuo. Cuando la recta apunta justo hacia p el residuo se reduce a cero y la sombra cae sobre p; cuanto más se desvía la recta de p, más largo crece el residuo. Lee la longitud de proyección p·u junto a la del residuo y observa cómo se compensan.
Ahora la recta está fija a 30 grados y arrastras tú mismo el punto p. Vaya donde vaya p, la sombra sobre la recta (el pie de proyección) la sigue, y la línea discontinua que baja de p hasta ella es siempre perpendicular a la recta. Ese ángulo recto es la clave: cuando el residuo es perpendicular a la recta, su longitud es exactamente la distancia más corta de p a la recta. Cualquier otro punto de la recta queda más lejos. Arrastra p lejos de la recta y la distancia mostrada crece; pégalo cerca y se acerca a cero. Lo más cercano y lo perpendicular son dos caras del mismo hecho.
¿Por qué la longitud de la sombra es p·u? Coloca la recta sobre el eje x (u=e1) y usa el deslizador para cambiar solo el ángulo θ de un vector p cuya longitud está fija en 3. La sombra de p sobre el eje x (dorada) tiene longitud |p|cosθ, formada por la caída vertical discontinua. En θ=0, p está alineado con la recta y la sombra es el 3 completo; al acercarse θ a 90 grados, p es perpendicular a la recta y la sombra se desvanece a 0. Este |p|cosθ es justamente la definición del producto punto p·u. El producto punto es, al final, una regla que mide la longitud de la sombra que un vector proyecta sobre otro.
Ahora no es un punto sino siete. Usa los deslizadores para mover la pendiente m y la ordenada b de la recta. La caída vertical discontinua de cada punto a la recta es el residuo de ese punto, y la suma de sus cuadrados es el SSE (suma de errores al cuadrado). Cuanto mejor enhebra la recta el centro de los puntos, más cortos los residuos y menor el SSE. Intenta hallar el mejor a mano y luego pulsa el botón de mejor ajuste: m y b saltan a los valores exactos que da la fórmula de mínimos cuadrados, y el SSE cae a su menor valor posible. Esta es la recta de regresión.
Por último, vista geométricamente, los mínimos cuadrados se cierran en una sola línea. Hay un vector objetivo azul b, y todo lo que el modelo puede construir son puntos sobre la recta que traza el vector de dirección dorado a. La aproximación más cercana es el punto p donde b se proyecta sobre esa recta, y el residuo restante r=b−p debe formar ángulo recto con a. Activa el interruptor y aparece la caída perpendicular (discontinua), mostrando a·r cerca de cero. Esta condición de ángulo recto es justamente la ecuación normal aᵀ(b−Ax)=0. La perpendicularidad del residuo del primer bloque se ha vuelto aquí la ecuación misma. Los mínimos cuadrados son siempre el acto de levantar el residuo perpendicular al espacio del modelo.