단어를 숫자로, 임베딩

단어마다 좌표를 붙여요

컴퓨터 안에는 글자가 없어요.
오직 숫자뿐이에요.
그런데 우리는 단어로 말하고 생각하죠.
그러면 단어를 어떻게 컴퓨터에 넣을까요?
방법은 단어마다 좌표를 하나씩 붙이는 거예요.
지도 위의 한 점이라고 생각하면 돼요.
cat이라는 단어는 여기,
dog라는 단어는 저기,
이렇게 각 단어가 자기 자리를 가져요.

단어를 눌러봐요. 글자였던 단어가 의미 공간 위의 한 점, 곧 숫자 좌표로 바뀌어 놓여요.

단어를 누르니 점 하나가 찍혔죠.
그 점의 위치가 바로 좌표예요.
좌표는 가로 몇, 세로 몇 하는 숫자 묶음이에요.
이제 단어가 숫자가 됐으니
컴퓨터가 드디어 다룰 수 있어요.
그런데 점을 아무 데나 찍으면
좌표에 아무 의미가 없겠죠.
그래서 한 가지 약속을 더 두어요.
뜻이 비슷한 단어는 가까이 두기로요.

비슷한 뜻은 가까이 모여요

임베딩의 핵심 약속은 단순해요.
뜻이 비슷한 단어는 가까이 두는 거예요.
cat과 dog는 둘 다 동물이라 가까이,
king과 queen은 둘 다 왕족이라 가까이요.
반대로 cat과 car는
소리는 비슷해도 뜻이 다르니까 멀리 떨어져요.
그래서 이 의미 공간에서는
거리가 곧 의미의 닮음이에요.
가까우면 비슷하고, 멀면 다른 거예요.

정렬 버튼을 눌러봐요. 흩어져 있던 단어들이 뜻 묶음끼리 가까이 모이고, 다른 묶음과는 멀어져요.

눌렀더니 단어들이 쏙쏙 모였죠.
동물은 동물끼리, 왕족은 왕족끼리요.
묶음 안에서는 가까이,
다른 묶음과는 멀리 떨어졌어요.
신기한 건, 컴퓨터는 cat이 동물인지
글자로는 전혀 모른다는 거예요.
오직 좌표 사이의 거리만 봐요.
그런데 좌표를 잘 정해두면
그 거리만으로 비슷함을 알 수 있어요.

좌표끼리 더하고 빼봐요

단어가 좌표가 됐으니 재미있는 게 생겨요.
좌표는 숫자라서 더하고 뺄 수 있죠.
그런데 그 계산이 의미를 띠어요.
king에서 man 방향을 빼보세요.
그러면 왕족이라는 느낌만 남아요.
거기에 woman 방향을 더하면
놀랍게도 queen 근처에 도착해요.
king에서 남자를 빼고 여자를 더하면 여왕,
좌표 위의 길찾기가 의미의 길찾기가 돼요.

단계 버튼을 차례로 눌러봐요. king에서 man을 빼고 woman을 더하는 길을 따라가면 화살표가 queen 근처에 도착해요.

화살표가 정말 queen 근처에 닿았죠.
계산은 그냥 좌표 더하기 빼기였어요.
그런데 결과가 의미에 딱 맞아요.
king과 queen의 차이가
man과 woman의 차이와 닮았기 때문이에요.
좌표를 잘 배워두면
이런 방향이 의미를 담게 돼요.
물론 늘 칼같이 맞진 않아요.
그래도 근처에 도착하는 것만으로도 놀랍죠.

단어만 좌표가 되는 게 아니에요

이 아이디어가 왜 강력한지 볼까요?
좌표로 바꾸는 건 단어만의 일이 아니에요.
사진 한 장도 좌표로 바꿀 수 있어요.
비슷한 사진은 가까이 모이게요.
목소리나 노래 한 곡도 좌표가 돼요.
심지어 사람의 취향도 좌표로 둘 수 있어요.
그러면 비슷한 취향끼리 가까워지죠.
무엇이든 좌표로 바꿔 가까움을 재면
컴퓨터가 비슷함을 다룰 수 있어요.

종류를 바꿔 눌러봐요. 단어든 이미지든 음성이든 사용자든, 똑같이 점으로 바뀌고 비슷한 것끼리 가까이 모여요.

종류를 바꿔도 그림은 똑같았죠.
점이 찍히고, 비슷한 건 가까이 모여요.
그래서 음악 앱이 비슷한 노래를 추천하고,
사진 앱이 닮은 사진을 찾아주는 거예요.
속에서는 다 좌표 사이의 거리를 재고 있어요.
서로 다른 종류를 같은 공간에 두면
글로 사진을 찾는 것도 가능해져요.
좌표라는 공통 언어 하나로
온갖 것을 한데 다루는 셈이에요.

정리해볼까요

한 줄로 모으면 이래요.
컴퓨터는 숫자만 아니까,
단어를 좌표라는 숫자 묶음으로 바꿔요.
이게 임베딩이에요.
핵심 약속은 비슷한 뜻을 가까이 두는 거예요.
그래서 거리가 곧 의미의 닮음이 돼요.
좌표라서 더하고 빼는 계산도 되고,
그 계산이 신기하게 의미를 띠어요.
그리고 단어뿐 아니라 이미지, 음성, 사용자까지 같은 식이에요.

핵심을 차례로 눌러 되짚어봐요. (단어를 좌표로 -> 비슷한 뜻은 가까이 -> 좌표 연산이 의미를 띰 -> 이미지·음성까지 같은 식)

이제 컴퓨터가 단어의 뜻을
어떻게 다루기 시작하는지 알게 됐어요.
글자를 좌표로 바꾸고,
비슷한 건 가까이 모으는 단순한 생각이
사실은 아주 멀리까지 데려가요.
검색, 번역, 추천, 그림과 글을 잇는 일까지
속을 들여다보면 다 이 임베딩이 깔려 있어요.
단어를 숫자로 바꾸는 첫걸음 하나가
오늘날 똑똑한 기계들의 바탕이 된 거예요.