Diagonalización de matrices
Una matriz suele torcer la cuadrícula y girar las flechas, así que es difícil de imaginar. Toma los vectores propios, las direcciones que no cambian de dirección bajo la transformación y solo cambian de longitud, y úsalos como ejes nuevos. En esas coordenadas la matriz se vuelve simple de golpe. El giro y el torcimiento desaparecen, y queda solo una matriz diagonal D que estira cada eje por su valor propio. Esa es la diagonalización A = P D P⁻¹, donde P es la matriz con los vectores propios por columnas. Una vez partida así una potencia es casi gratis, y en una matriz simétrica esos ejes se encuentran en ángulo recto. Este solo hecho ensarta PageRank, SVD y PCA en una línea.
Puedes alternar la misma transformación entre dos vistas. En la vista estándar la cuadrícula se deforma, y una flecha azul cualquiera que no es vector propio se dobla en dirección además de en longitud. Es difícil de seguir de cabeza. Cambia a la vista de base propia y los dos vectores propios se tienden como ejes nuevos. El primer eje es verde y el segundo es naranja. Entonces la transformación se ve como la transformación diagonal D = diag(λ1, λ2), que estira el primer eje por λ1 y el segundo por λ2. La rotación es 0. Elige la base correcta y una matriz que parecía complicada se ordena en dos estiramientos. Ahí empieza la diagonalización.
Recorre cómo A = P D P⁻¹ actúa sobre un vector, paso a paso. P es la matriz con los vectores propios v1, v2 por columnas. El paso 0 es el vector azul de partida. El paso 1, P⁻¹, mueve ese vector a coordenadas propias para leerlo como tantos pasos a lo largo de v1 más tantos a lo largo de v2, y la flecha se vuelve dorada. El paso 2, D, estira la primera componente por λ1 y la segunda por λ2 en esas coordenadas, y la flecha es verde. Es solo estirar, el paso más simple. El paso 3, P, devuelve el resultado a las coordenadas originales, y la flecha es roja. Entrar por P⁻¹, estirar por D y salir por P es exactamente una aplicación de A.
La ganancia real de la diagonalización son las potencias. Aⁿ = P Dⁿ P⁻¹, y la Dⁿ del medio es solo la matriz diagonal de cada valor propio elevado a n. Desaparece el trabajo de multiplicar la matriz n veces. Sube la potencia k con el deslizador y el vector azul crece cada vez a lo largo de cada dirección propia, y el valor propio de mayor valor absoluto domina poco a poco. Al crecer k el vector se alinea con la dirección del mayor valor propio, el vector propio dominante dibujado como una línea discontinua dorada. Eso es la iteración de potencias, y es por qué PageRank o un proceso repetido se asienta en una dirección con el tiempo.
Si la matriz es simétrica, esto es si la posición b y la posición c son la misma, pasa algo especial. Mueve el término fuera de la diagonal con el deslizador y cuando está lejos de simétrica los dos ejes de vectores propios se inclinan en un ángulo oblicuo. El primer eje es verde y el segundo es naranja. En el instante en que la haces simétrica los dos vectores propios se encuentran a exactamente 90 grados, un ángulo recto, y el punto del centro se vuelve dorado. Ese es el teorema espectral. Una matriz simétrica siempre tiene vectores propios ortonormales, así que se parte como A = Q Λ Qᵀ, donde Q es una matriz ortogonal, una rotación, y Λ es la matriz diagonal de valores propios. Puedes poner una traspuesta donde estaba P⁻¹. Esta diagonalización ortogonal es el corazón geométrico de SVD y de PCA.
Una reserva honesta. No toda matriz se diagonaliza. Un lado del botón es una matriz sana con dos direcciones propias distintas, así que los vectores propios abren el plano y se diagonaliza. La flecha verde y la flecha naranja apuntan a sitios distintos. El otro lado es la matriz de cizalla (shear) [[1,1],[0,1]]. El valor propio se repite como el solo valor 1, y solo sale un vector propio, a lo largo del eje horizontal. Ves las dos flechas caer sobre la misma línea. Una matriz corta de vectores propios independientes se llama defectuosa (defective), y no hay direcciones bastantes para poner ejes nuevos, así que la diagonalización es imposible. La condición es tantos vectores propios independientes como la dimensión.