Formas cuadráticas
Una recta era de grado uno. Ahora sube un peldaño y mira una altura que se curva sobre el plano. q(x) = xᵀAx, y escrita para la matriz simétrica A = [a, b; b, c] es q = a·x² + 2b·xy + c·y². Corta esta superficie a una altura constante y el conjunto de nivel es una elipse o una hipérbola. Lo que fija esa forma son por entero los valores propios y los vectores propios de esa matriz. Los vectores propios señalan los ejes principales del cuenco, y los valores propios fijan cuánto se curva cada eje. Si los dos valores propios son positivos hay un cuenco con un solo suelo, y si los signos discrepan es una silla. Para cualquier función suave la hessiana de las derivadas segundas es exactamente una forma cuadrática, así que esta sola cosa ensarta el criterio de la derivada segunda y las componentes principales en una línea, PCA. El signo del cuenco separa un mínimo, un máximo y una silla.
Fija los tres valores a, b, c de la matriz simétrica con los deslizadores. La pantalla dibuja la altura q = a·x² + 2b·xy + c·y² como curvas de nivel. Si los dos valores propios son positivos las curvas se vuelven una elipse cerrada, un cuenco azul que baja hacia el medio. Si los dos son negativos es la misma elipse pero un domo rojo más alto en el medio. Si uno es positivo y uno es negativo las curvas se vuelven una hipérbola abierta, una silla dorada que sube por un lado y baja por el otro. Si un valor propio casi desaparece se vuelve un canal verde. Sube b y las curvas se inclinan. Cambia solo los tres números a, b, c y la misma fórmula q² camina entre cuenco, domo y silla. El color sigue el signo tal cual.
Ahora mira exactamente una curva de nivel. El conjunto de nivel cortado a la altura q = 1, esto es xᵀAx = 1. Pon la matriz cerca de definida positiva y esta curva es una elipse limpia. La elipse no yace de cualquier modo. Sus dos ejes yacen exactamente a lo largo de los vectores propios. Y la longitud de cada semieje es 1/√λ. Un valor propio grande se curva con fuerza por ahí y la elipse es corta. Un valor propio pequeño es suave y la elipse es larga. Cambia la matriz con el deslizador y los ejes principales, los vectores propios, y los valores propios se actualizan juntos. Esta elipse, con semiejes 1/√λ, es pariente de la elipse de covarianza de las componentes principales. La longitud y la dirección salen juntas de una matriz.
Ahora empuja tú los dos valores propios a través de 0. Mueve los deslizadores λ1 y λ2 y el widget da el veredicto enseguida. El primer número es verde y el segundo número es naranja. Los dos positivos es definida positiva, un cuenco pintado de verde, y el medio es el único mínimo. Los dos negativos es definida negativa, un domo rojo, y el medio es el máximo. Signos que discrepan son indefinida, una silla dorada. Si uno de ellos es exactamente 0 es semidefinida, un canal que se curva por un lado y se queda plano por el otro. Dos signos deciden todo. El texto del veredicto sigue también el color de ese signo.
Mira por qué el término cruzado b·xy es un estorbo, y cómo desaparece. Deja los dos valores propios λ1, λ2 y gira solo el ángulo, y se construye A = R Λ Rᵀ. Si el ángulo no es 0 el término cruzado está vivo y la elipse yace inclinada. Gira el ángulo con el deslizador y rota la elipse, y en el instante en que los ejes principales se alinean exactamente con los ejes x, y el término cruzado cae a 0. En esas coordenadas se abre limpio como q = λ1·y1² + λ2·y2², una forma sin término cruzado. Esa es la diagonalización. En A = Q Λ Qᵀ, gira las coordenadas por la matriz ortogonal y la mezcla desaparece, y los dos ejes juegan aparte como una suma pura. Abajo aparece la fórmula q de las coordenadas de ahora. Alinear el ángulo es todo el trabajo de borrar el término cruzado.
Por último, mira por qué todo esto es el corazón de la optimización. Cualquier función suave, cerca de un punto, se curva por la matriz simétrica de sus derivadas segundas, la hessiana. La hessiana es exactamente una forma cuadrática. Así en un punto crítico donde la pendiente es 0, si la hessiana es definida positiva el punto es el suelo de un cuenco, un mínimo local. Si es definida negativa es la cima de un domo, un máximo local. Si es indefinida es un punto de silla. Ese es el criterio de la derivada segunda. Cambia la hessiana con el deslizador y el terreno de curvas y el veredicto cambian juntos. Por eso el descenso de gradiente rueda bien hacia un cuenco definido positivo y vaga en una silla. Que la curvatura en un punto sea positiva, negativa o mixta decide la respuesta. El signo de la curvatura es el nombre de ese punto.