Mínimos cuadrados y proyección
Cuando el sol está justo encima, la sombra de una pelota en el aire cae en el pie de la perpendicular trazada desde la pelota hasta el suelo, y ese lugar es el punto del suelo más cercano a la pelota. Trazar así una perpendicular desde un punto hasta una recta o un plano para hallar el punto más cercano se llama proyección. Cuando hay tantas mediciones que ninguna recta pasa por todos los puntos, tratar el conjunto de mediciones como un solo vector y proyectarlo sobre el espacio de vectores que el modelo puede producir da la respuesta con la menor suma de errores al cuadrado, y eso se llama mínimos cuadrados. Esta lección trata, por orden, la proyección de un punto sobre una recta, por qué la distancia perpendicular es la más corta, el producto escalar que mide la longitud de una proyección, el ajuste de una recta a siete puntos y las ecuaciones normales que salen de la condición de ángulo recto.
¿Cuál es la mejor manera de llevar un punto sobre una recta? El punto azul p de la figura de abajo está fijo en (2,4; 1,6), y el deslizador gira una recta que pasa por el origen, con un ángulo θ de 0° a 180°. El punto dorado f sobre la recta es el pie de la perpendicular trazada desde p hasta la recta, y el segmento rojo discontinuo de p a f es el residuo. En los 35° iniciales la recta casi coincide con la dirección de p (unos 33,7°), así que las lecturas son proyección p·u = 2,88 y longitud del residuo = 0,07, y a 34° el residuo es mínimo, 0,02. Al tumbar la recta en 0° se obtiene p·u = 2,40 y residuo = 1,60, y al levantarla a 90°, p·u = 1,60 y residuo = 2,40, pero en cualquier ángulo los cuadrados de los dos valores suman lo mismo, 2,4² + 1,6² = 8,32, porque la proyección y el residuo son los dos catetos de un triángulo rectángulo cuya hipotenusa es |p|. A 180° la recta es la misma que a 0°, y sin embargo p·u = −2,40 con solo el signo cambiado, porque el vector unitario u apunta ahora al otro lado.
Que el pie de la perpendicular sea de verdad el punto más cercano se comprueba moviendo el punto por todas partes. En la figura de abajo la recta está fija a 30° y el punto p se puede arrastrar. En la posición inicial p = (1,2; 2,6) se lee distancia a la recta = 1,65, y vaya donde vaya p, el segmento rojo discontinuo forma un ángulo recto con la recta mientras la sombra dorada lo sigue en su pie. Si d es la distancia a la recta, la distancia a cualquier otro punto q de la recta cumple |p − q|² = d² + |f − q|² por el teorema de Pitágoras, así que ningún punto de la recta está más cerca de p que el pie f. Mover p en paralelo a la recta solo desliza la sombra y deja igual la distancia, mientras que acercarlo a la recta solo acorta la distancia, que se acerca a 0 cuanto más se pega p a la recta. Hallar el punto más cercano es, por tanto, el mismo problema que hallar el punto donde el residuo es perpendicular a la recta, y los mínimos cuadrados usan exactamente este hecho con más dimensiones.
Por qué la longitud de una proyección es el producto escalar p·u se comprueba directamente en la figura de abajo. La recta es el eje x, su vector unitario es u = (1, 0), y el deslizador cambia solo el ángulo θ de un vector p cuya longitud está fija en |p| = 3, de 0° a 90°. En los 40° iniciales se lee cos θ = 0,77 y p·u = 2,30, porque la sombra dorada mide |p| cos θ = 3 cos 40°. Con θ en 0°, p queda paralelo a la recta y la sombra es todo p, 3,00; a 60° es la mitad, 1,50, y a 90° p es perpendicular a la recta y la sombra desaparece en 0,00. Cuando la dirección de la recta la da un vector a que no es unitario, la proyección es (p·a / a·a) a, y al reducir a a longitud 1 la fórmula vuelve a ser (p·u) u.
Con muchos puntos no hay recta que pase exactamente por todos, así que se busca la de menor error total. La figura de abajo tiene siete puntos, y dos deslizadores cambian la pendiente m y la ordenada b de la recta y = mx + b. El segmento rojo discontinuo de cada punto a la recta es vertical porque los errores que se ajustan están en y, no en x, y los cuadrados de sus longitudes sumados dan el SSE que aparece bajo la figura. Con los valores iniciales m = 0,20 y b = −0,50 se lee SSE = 8,55, y al pulsar Mejor ajuste los valores pasan a m = 0,63 y b = 0,17 y el SSE baja a 0,17, que ninguna posición de los deslizadores puede mejorar. Los valores de x de estos puntos están repartidos por igual alrededor de 0, de −3 a 3, así que la pendiente es simplemente Σxy / Σx² = 17,7 / 28 y la ordenada es la media de y, 1,2 / 7. Aquí el ángulo recto no se da en el plano, sino en el espacio donde los siete valores de y forman un solo vector: los residuos de la mejor recta suman 0, y su suma tras multiplicarlos por los valores de x también es 0, así que son perpendiculares a los dos vectores (1, …, 1) y (x1, …, x7).
Los mínimos cuadrados resultan ser el mismo problema que hallar el pie de la perpendicular visto antes. La figura de abajo dibuja los mínimos cuadrados de forma geométrica una vez más. El modelo solo puede producir múltiplos x a del vector dorado a = (3, 1), así que solo son posibles los puntos de la recta que pasa por a, mientras que el vector objetivo azul b = (1,2; 2,6) queda fuera de esa recta. El x a más cercano a b es aquel cuyo residuo r = b − x a es perpendicular a a, de modo que a·(b − x a) = 0, es decir, x = a·b / a·a = 6,2 / 10 = 0,62, lo que da la proyección p = (1,86; 0,62) y el residuo r = (−0,66; 1,98). Al principio se ve el segmento rojo discontinuo de b a p, al pulsar Ocultar la perpendicular desaparece solo ese segmento, y la lectura a·r = 0,000 bajo la figura sigue igual sea cual sea la posición del interruptor. Generalizada a una matriz A con varias columnas, la condición de ángulo recto Aᵀ(b − Ax) = 0, es decir AᵀA x = Aᵀb, se llama ecuaciones normales, y al ajustar una recta a los siete puntos las dos columnas de A son (x1, …, x7) y (1, …, 1), así que resolverlas da la m = 0,63 y la ordenada 0,17 que produjo Mejor ajuste.