El PCA halla las direcciones de mayor dispersión
Imagina esparcir un puñado de granos sobre un escritorio. Si no caen en una mancha redonda sino estirados en un sentido, cualquiera puede señalar de un vistazo: "se dispersan más en esta dirección". Eso es justo lo que pregunta el Análisis de Componentes Principales (PCA): en una nube de datos, ¿qué dirección tiene la mayor dispersión? Esa dirección es la primera componente principal (PC1), y la segunda dirección de más dispersión, en ángulo recto con ella, es PC2. Sorprendentemente, estas dos direcciones son los autovectores de la matriz de covarianza de los datos, y cuánto se dispersa cada una (la varianza) es su autovalor. La misma idea de autovectores de la lección 8 se aplica ahora directo a la dispersión de los datos.
Arrastra la nube de puntos para girarla. Toma el tirador y rótalo, y toda la nube se inclina con él. En cualquier ángulo, la elipse dorada que envuelve los puntos (la covarianza dibujada a una sigma) gira junto con la nube. Dentro de esa elipse el eje más largo (verde) es PC1, y el eje corto en ángulo recto con él (naranja) es PC2. Las longitudes de los dos ejes son las raíces cuadradas de la varianza en cada dirección, es decir, las desviaciones estándar. Como sea que rotes la nube, PC1 siempre apunta justo a lo largo de la mayor dispersión. Estos ejes son precisamente los autovectores de la matriz de covarianza calculada con los puntos.
Ahora usa el deslizador para cambiar solo el ángulo de la nube. Dos flechas, PC1 (verde) y PC2 (naranja), la siguen todo el tiempo. PC1 es la dirección de mayor varianza, PC2 la segunda dirección en ángulo recto exacto con ella. Donde sea que pongas el deslizador, los dos ejes siempre se mantienen a 90 grados, porque los autovectores de una matriz de covarianza simétrica siempre son ortogonales entre sí. Así, las componentes principales descomponen los datos en direcciones limpias que no se solapan. Eso significa que la información de un eje nunca se filtra al otro.
Mide tú mismo por qué PC1 es especial. Cuando el deslizador gira una recta de dirección, cada punto cae perpendicularmente sobre esa recta, dejando una huella. Cuánto se dispersan esas huellas a lo largo de la recta es la varianza en esa dirección, y la barra muestra su valor. Haz girar la recta y la varianza sube a un máximo cuando la recta se alinea con PC1 y baja a un mínimo cuando se alinea con PC2. Por eso PC1 también puede definirse como la dirección que maximiza la varianza. La dirección de más dispersión es la dirección donde más información sigue viva.
Ahora al verdadero provecho: la reducción de dimensión. Usa el conmutador para conservar solo un eje, PC1 o PC2. Los puntos se aplastan sobre ese eje, y la dirección perpendicular descartada aparece como muñones discontinuos, el error de reconstrucción. La lectura es la varianza a lo largo del eje desechado, es decir, cuánta información perdiste. Conservar PC1 deja los muñones más cortos, porque descartaste la dirección de menos dispersión, así que perdiste lo mínimo. Encoger de 2D a 1D manteniendo la pérdida lo más pequeña posible es justo cómo el PCA comprime los datos.
Por último, una herramienta que pregunta cuántas dimensiones necesitas de verdad. Usa el deslizador para estirar la nube de redonda a muy alargada. Dos barras muestran la razón de los autovalores: la de arriba es lambda1/(lambda1+lambda2), la de abajo lambda2/(lambda1+lambda2). Cuando la nube es redonda las dos barras son casi mitad y mitad, así que conservar un eje pierde la mitad. Cuanto más alargada, más sube la barra de PC1 hacia el 100 por ciento y PC2 se encoge hacia cero. Entonces un solo eje conserva casi toda la información. Esta razón de varianza explicada es la vara para medir a cuán pocas dimensiones puedes reducir los datos sin riesgo.