Cómo funciona la atención en IA
La lección anterior terminó con un problema: una sola coordenada por palabra no siempre basta. La misma palabra 'Apple' es una fruta si a su lado aparece 'eat', y una empresa si aparece 'stock'. Cuando leemos, no prestamos la misma atención a todas las palabras: miramos más las que tienen que ver con la palabra que estamos leyendo. A una máquina se le puede enseñar esa habilidad, para que decida qué significa una palabra mirando las demás palabras de la frase. Esto se llama atención.
Más atención a las palabras que importan
Al leer una frase larga, no dedicamos el mismo esfuerzo a cada palabra. Elegimos las que nos ayudan a entender la palabra en la que estamos y las miramos más tiempo. Por ejemplo, para saber de qué trata 'sat', hay que mirar 'cat' para saber quién se sentó y 'mat' para saber dónde.
Las palabras pequeñas, como artículos y preposiciones, aportan poco a esa pregunta. Prestar más atención a las palabras que importan es el primer paso de la atención.
Toca una palabra de la frase. Cuanto más relacionada está una palabra con ella, más oscura se ve, y así se nota dónde se centra la palabra actual.
Las palabras oscuras cambiaron según la palabra que tocaste. Las oscuras importan para la palabra actual; las tenues apenas tienen que ver con ella. Las personas leemos igual.
Pero ¿cómo sabe una máquina qué importa? Cada palabra tiene una coordenada, así que la máquina compara la coordenada de la palabra actual con la de cada una de las demás y les da una puntuación de relevancia. La forma de comparar también se aprende de los datos. Lo que importa no lo decide una palabra sola, sino su relación con las de alrededor.
El contexto decide el significado
A veces la misma palabra significa cosas distintas, y lo que decide es lo que la rodea: el contexto. Fíjate en la palabra inglesa 'bank'. Con 'river' al lado, es la orilla de un río; con 'money', es un banco.
La palabra no ha cambiado, pero un entorno distinto da otra lectura. La atención mira justamente ese entorno para fijar el significado.
Deja la palabra del centro como está y toca para cambiar la palabra de contexto que la acompaña. La misma palabra pasa de ser la orilla de un río a ser un banco que guarda dinero.
Cambiar una sola palabra vecina cambió toda la lectura. Una palabra no lleva todo su significado por sí sola; su significado se aclara junto a las palabras que la rodean.
Por eso, según en qué palabras se centre la palabra actual, la misma palabra puede leerse con sentidos distintos. Esto se ve con más claridad en las palabras con varios significados, las palabras polisémicas.
La coordenada de una palabra polisémica se mueve con el contexto
En la lección anterior vimos que cada palabra es una coordenada en el espacio de significado. Una palabra polisémica tiene la coordenada atrapada entre dos barrios. 'Apple' pertenece al barrio de la fruta y también al de las empresas, así que, sola, no se sabe de qué lado está.
Pero si le pones 'eat' al lado, la coordenada se va hacia la fruta; si le pones 'stock', se va hacia la empresa. El contexto fija en un lado la coordenada borrosa.
Toca 'eat' o 'stock' para ponerlo junto a 'Apple'. La coordenada de significado se mueve entre el barrio de la fruta y el de la empresa.
La misma 'Apple' cambió de lugar de golpe por una sola palabra vecina. Ese es el corazón de lo que hace la atención. Construye una coordenada nueva para la palabra actual mezclando las coordenadas de las palabras que la rodean: mucho de las palabras en las que se centra y poco de las que apenas atiende.
Entonces, ¿cómo se reparte la atención? No a partes iguales entre todas las vecinas: recibe más la que es más relevante.
La relevancia se reparte como pesos
Las puntuaciones de relevancia no se usan tal cual. Se convierten en partes que suman exactamente 1, y esas partes se llaman pesos. Cuanto más relevante es una palabra, mayor es su parte.
Como el total es fijo, si una palabra se lleva más, las demás se llevan otro tanto menos. La atención disponible es limitada, y los pesos deciden dónde se gasta.
Toca la barra de una palabra para darle más atención. Cuando una se lleva más, las demás bajan, así que la suma de todos los pesos siempre da 1.
Al darle más atención a una palabra, las demás cedieron lo mismo, y el total siguió en 1 todo el tiempo. Estos pesos deciden qué palabras mirar y cuánto. Una palabra con un peso grande tira con fuerza de la nueva coordenada de la palabra actual hacia sí misma.
Por eso la coordenada de 'Apple' se mueve hacia la vecina con más peso. Un modelo de lenguaje real hace este cálculo para todas las palabras de la frase a la vez, y ejecuta varias atenciones en paralelo, cada una mirando desde un ángulo distinto.
Resumen
En resumen, al leer una frase no miramos todas las palabras por igual: nos centramos más en las que importan para la palabra actual. Las puntuaciones de relevancia se convierten en pesos que suman 1, y las coordenadas de las palabras de alrededor se mezclan según esos pesos para formar la nueva coordenada de la palabra actual.
Así el contexto decide el significado, y la coordenada de una palabra como 'Apple' se mueve hacia la fruta o hacia la empresa. Eso es la atención.
Toca los puntos clave en orden para repasar. (céntrate en lo que importa → el contexto decide el significado → la coordenada polisémica se mueve → los pesos siempre suman 1)
Ahora sabes qué es la atención. Gracias a la idea sencilla de elegir las palabras que importan en lugar de tratarlas todas igual, la misma palabra puede leerse de forma distinta según sus vecinas. La máquina aprendió a leer las palabras en su contexto.
Una estructura que apila muchas capas de atención se llama transformer. Los grandes modelos de lenguaje de hoy, los LLM, son máquinas construidas sobre transformers que adivinan la siguiente palabra. La próxima lección explica cómo un LLM produce texto.