Cómo funciona un LLM

Adivinar la siguiente palabra

Piensa en cuando escribes un mensaje en el móvil. Tecleas una palabra y el teclado te ofrece unas cuantas que podrían venir después. Un LLM hace en esencia lo mismo, solo que ha aprendido de muchísimo más texto y mira un trozo mucho más largo de lo anterior.
Un LLM lee todo lo escrito hasta el momento y elige una palabra para seguir. La añade, vuelve a leer el texto ya más largo y elige la siguiente. En rigor trabaja con tokens, trozos que a menudo son más pequeños que una palabra, pero aquí los llamaremos palabras para simplificar.

Toca una palabra candidata para continuar la frase. Con cada toque aparecen las siguientes candidatas con sus probabilidades, y la frase crece palabra a palabra.

Solo elegimos la siguiente palabra, y aun así apareció una frase con sentido. El secreto es el número junto a cada candidata: su probabilidad, que indica lo probable que es que esa palabra venga después.
Las palabras que encajan con la gramática y el sentido tienen probabilidades altas; las disparatadas, bajas. Un LLM calcula estas probabilidades a partir de lo que aprendió, en enormes cantidades de texto, sobre qué palabras suelen seguir a cuáles.

Elegir una por probabilidad

La probabilidad no es difícil. Cada palabra que podría venir después recibe una puntuación según lo plausible que es, y las puntuaciones se ajustan para que entre todas sumen el cien por cien. Después de «el cielo está despejado», una palabra como «hoy» tiene una probabilidad alta y «ruidoso», una baja.
Un LLM suele elegir una palabra de probabilidad alta. Pero no siempre se queda con la primera: a menudo sortea una palabra en proporción a las probabilidades. Por eso la misma pregunta puede recibir respuestas algo distintas.

En cada paso, toca la palabra de mayor probabilidad. La palabra elegida se une a la frase y pasas al paso siguiente. Las candidatas están fijadas de antemano, así que el resultado es siempre el mismo.

Cada elección alargó la frase en una palabra. Un LLM real vuelve a leer toda la frase alargada y calcula candidatas nuevas para la palabra siguiente.
Elegir, añadir, releer y volver a elegir. Si repites este gesto corto incontables veces, salen párrafos y respuestas largas. El texto de un LLM no llega de golpe: se va acumulando paso a paso.

El contexto anterior cambia las probabilidades

Las probabilidades de la siguiente palabra no son fijas. Cambian mucho según lo que vino antes. Después de «tenía hambre, así que agarré», lo plausible es algo de comer; después de «el barco llegó al puerto, así que agarré», algo del barco.
Las palabras justo antes del hueco son las mismas, pero un contexto distinto cambia por completo lo que viene después. Elegir las palabras útiles del texto anterior es el trabajo de la atención, de la lección pasada.

Toca para cambiar el contexto anterior. Aunque las palabras justo antes del hueco no cambian, un contexto distinto reordena por completo las barras de probabilidad de la siguiente palabra.

Cambiar solo el contexto anterior dio la vuelta a las probabilidades. Ahí está el secreto de por qué un LLM parece listo: revisa todo el contexto y elige la siguiente palabra que encaja con la situación.
Por eso la misma pregunta puede recibir respuestas bastante distintas según la explicación y los ejemplos que pongas delante, y por eso importa saber escribir bien una petición.

Muchas capacidades a partir de una sola tarea

Aquí pasa algo sorprendente. Al modelo solo se le entrenó para adivinar bien la siguiente palabra, y aun así aparecen capacidades que nadie le enseñó. Si a un texto largo le sigue «en resumen,», lo más plausible a continuación es un resumen; si le sigue «en inglés:», una traducción.
Si a la descripción de un problema le sigue «en código:», viene código. A estas capacidades, que aparecen solas a medida que los modelos crecen, a veces se les llama capacidades emergentes.

Toca para cambiar la capacidad. Resumen, traducción y código salen todos de la misma tarea de adivinar la siguiente palabra. Solo cambia el comienzo; la máquina hace un único trabajo.

Al cambiar de botón parecía otra tarea, pero por dentro todo es igual: mirar el comienzo y adivinar la siguiente palabra. Pulir esa única habilidad con cantidades enormes de texto trajo consigo muchas capacidades. Que se comporte como un asistente amable que responde preguntas viene de un entrenamiento posterior con las valoraciones que personas dieron a sus respuestas.
Hay algo que conviene recordar. Un LLM no comprueba los hechos antes de responder; elige la siguiente palabra más plausible. Por eso puede citar con total seguridad un libro que no existe o un número equivocado.

Resumen

En resumen, un LLM es una máquina que mira el contexto y adivina la siguiente palabra por probabilidad. Da una probabilidad a cada candidata, elige una y construye textos largos palabra a palabra. Cuando cambia el contexto, cambian las probabilidades, y la atención decide qué mirar en el texto anterior.
Al volverse bueno en esta única tarea, llegaron capacidades como resumir, traducir y programar. Pero lo que elige un LLM es lo plausible, no lo verdadero, y conviene no olvidarlo.

Toca los puntos clave en orden para repasar. (adivina la siguiente palabra → elige por probabilidad, palabra a palabra → cambia con el contexto, atención → llegan muchas capacidades)

Ahora ya ves qué es de verdad un LLM: no es magia, sino una máquina que adivina la siguiente palabra por probabilidad. Hacer esa tarea sencilla a una escala enorme produjo capacidades inesperadas.
Pero ¿el texto es lo único que crea la IA? También hay IA que crea imágenes y música a partir de lo aprendido. La próxima lección trata de la IA generativa, que usa los patrones aprendidos para crear algo nuevo.