Qué es un embedding

Una coordenada para cada palabra

Una computadora solo calcula con números. Nosotros, en cambio, hablamos y pensamos con palabras, así que hay que convertirlas en números de algún modo. Lo más sencillo sería numerar las palabras, pero una lista numerada no puede recoger que un gato se parece más a un perro que a un coche.
Por eso cada palabra recibe una coordenada, como un punto en un mapa: cat por aquí, dog por allá, y cada palabra con su propio lugar.

Toca las palabras una por una. Cada palabra, que hasta ahora eran solo letras, se convierte en un punto del espacio de significado, y su posición aparece como un par de números.

Al tocar una palabra aparece un punto con dos números al lado: su posición horizontal y su posición vertical. Ese grupo de números es la coordenada. Ahora que la palabra es un conjunto de números, la computadora puede trabajar con ella.
El widget usa dos números para que sea fácil de dibujar, pero los embeddings reales dan a cada palabra cientos de números. Eso sí, si los puntos se ponen en cualquier sitio, las coordenadas no significan nada. Por eso se añade una regla más: las palabras de significado parecido van cerca.

Los significados parecidos se juntan

Con esta regla, cat y dog quedan cerca porque los dos son animales, y king y queen quedan cerca porque los dos son realeza. En cambio, cat y car solo se diferencian en una letra, pero significan cosas totalmente distintas, así que quedan lejos.
En este espacio de significado, la distancia mide cuánto se parecen dos significados. Cerca quiere decir parecido; lejos, distinto.

Pulsa el botón de ordenar. Las palabras dispersas se juntan en grupos de animales, realeza y fruta, y los grupos se alejan entre sí.

Las palabras se juntaron por grupos: cerca dentro de cada grupo y lejos de los demás. Entonces, ¿quién decide estas coordenadas? No una persona, palabra por palabra. La computadora no sabe por las letras que un gato es un animal; solo ve cómo se usan las palabras en cantidades enormes de texto.
Gato y perro aparecen a menudo junto a palabras parecidas, como «comida», «pelo» o «veterinario». Si se entrenan las coordenadas para que las palabras que salen en contextos parecidos se acerquen, la distancia basta para medir cuánto se parecen sus significados.

Calcular con coordenadas mueve el significado

Cuando las palabras son coordenadas, pasa algo notable. Las coordenadas son números, así que se pueden sumar y restar, y esas cuentas tienen significado. Si a king le restas la dirección de man, queda la idea de realeza; si le sumas la dirección de woman, llegas, para sorpresa de todos, cerca de queen.
King menos man más woman da aproximadamente queen. Orientarse entre coordenadas se convierte en orientarse entre significados.

Toca los botones de paso en orden. Sigue el camino de king menos man más woman, y la flecha llega cerca de queen.

La flecha llegó de verdad cerca de queen. Solo sumamos y restamos coordenadas, y aun así el resultado encaja con el significado. Funciona porque la flecha que va de man a woman apunta casi en la misma dirección, y mide casi lo mismo, que la flecha que va de king a queen.
En un embedding bien entrenado, direcciones como esta guardan relaciones como el género o la de un país con su capital. No siempre encaja con exactitud, y a menudo el resultado cae al lado de la palabra correcta y no justo encima. Aun así, sorprende que aparezcan solas en las coordenadas relaciones que nadie enseñó.

No solo las palabras se vuelven coordenadas

Las coordenadas no son solo para palabras. Una foto también puede convertirse en una coordenada, y así las fotos parecidas se juntan. Una voz o una canción también pueden ser coordenadas, e incluso el gusto de una persona, según las canciones que más escucha, puede expresarse como una.
Si conviertes cualquier cosa en coordenadas y mides la cercanía, la computadora puede manejar el parecido. Las características que una CNN extrae de una foto, como vimos en la lección anterior, se usan como coordenadas de este tipo.

Toca para cambiar el tipo. Palabras, imágenes, sonidos o usuarios: todos se convierten en puntos del mismo modo, y lo parecido queda cerca.

Cambiar de tipo no cambió el dibujo: aparecen puntos y lo parecido se junta. Cuando una app de música recomienda canciones parecidas o una app de fotos encuentra imágenes semejantes, por dentro está midiendo distancias entre coordenadas.
Si se entrenan tipos distintos para compartir un mismo espacio, hasta se pueden buscar fotos con palabras: basta tomar la coordenada del texto «un cachorro en la playa» y elegir las fotos más cercanas.

Resumen

En resumen, una computadora solo maneja números, así que convierte cada palabra en una coordenada, un grupo de números. Eso es un embedding. La regla clave es que las palabras de significado parecido van cerca, y las coordenadas se aprenden de cómo se usan las palabras en grandes cantidades de texto.
Así la distancia se vuelve parecido de significado, y sumar y restar coordenadas también tiene significado. Imágenes, sonidos y usuarios se manejan igual que las palabras.

Toca los puntos clave en orden para repasar. (convierte palabras en coordenadas → los significados parecidos quedan cerca → las cuentas con coordenadas tienen significado → imágenes y sonidos funcionan igual)

Ahora sabes cómo empieza una computadora a manejar el significado de las palabras. La idea sencilla de convertir palabras en coordenadas y juntar las parecidas sostiene la búsqueda, la traducción, las recomendaciones y la unión de imágenes con texto.
Pero una sola coordenada por palabra tiene problemas. En inglés, apple puede ser una fruta o el nombre de una empresa. La próxima lección trata de la atención, una forma de mirar las demás palabras de la frase para decidir qué significa una palabra en ese lugar.