다음 단어를 맞히는 기계, LLM

다음에 올 단어를 맞혀요

휴대폰으로 글을 쓸 때를 떠올려봐요.
한 단어를 치면 키보드가
다음에 올 만한 단어를 슬쩍 보여주죠.
LLM도 사실 그 일을 해요.
다만 어마어마하게 잘할 뿐이에요.
앞에 나온 말을 쭉 읽고
다음에 올 가장 그럴듯한 단어를 골라요.
그 한 단어를 붙이고
또 그다음 단어를 골라요.

단어를 눌러 문장을 이어봐요. 누를 때마다 다음에 올 단어 후보가 확률과 함께 떠요. 한 단어씩 붙여 문장이 자라나요.

신기하죠.
그저 다음 단어를 골랐을 뿐인데
어느새 말이 되는 문장이 됐어요.
비결은 후보마다 붙은 숫자예요.
그 숫자가 바로 확률이에요.
어떤 단어가 다음에 올 가능성이
얼마나 큰지를 나타내는 점수죠.
LLM은 그중 높은 단어를 골라요.
확률이 정확히 뭔지 다음에서 봐요.

확률로 하나를 골라요

확률은 어렵지 않아요.
다음에 올 단어마다
얼마나 그럴듯한지 점수를 매긴 거예요.
점수가 높을수록 더 그럴듯하다는 뜻이죠.
예를 들어 하늘이 맑다 다음에는
쨍하다 같은 단어 점수가 높고
캄캄하다는 점수가 낮아요.
LLM은 보통 점수가 높은 단어를 골라요.
그렇게 고른 단어를 문장에 붙여요.

각 칸에서 확률이 가장 높은 단어를 눌러 골라봐요. 고른 단어가 문장에 붙고, 다음 칸으로 넘어가 또 골라요. 미리 정해진 후보라 누를 때마다 똑같이 나와요.

한 단어를 고를 때마다
문장이 한 칸씩 길어졌죠.
그리고 길어진 문장을 다시 읽고
그다음 단어 후보를 새로 내놨어요.
고르고, 붙이고, 다시 고르고.
이 짧은 동작을 수없이 되풀이하면
문단도 되고 긴 답도 돼요.
LLM의 글쓰기는 통째로 떠오르는 게 아니라
이렇게 한 걸음씩 쌓이는 거예요.

앞 문맥을 보고 달라져요

그런데 다음 단어 확률은 고정이 아니에요.
앞에 어떤 말이 왔느냐에 따라
순식간에 확 달라져요.
배가 고프다 다음엔 먹는 이야기가,
배가 항구에 다음엔 바다 이야기가
그럴듯해지죠.
같은 배라도 앞 문맥이 다르면
다음에 올 단어가 완전히 바뀌어요.
앞을 골라 보는 이 능력이 어텐션이에요.

앞 단어를 눌러 바꿔봐요. 같은 자리라도 앞 문맥이 달라지면 다음 단어 확률 막대가 통째로 바뀌어요. 어텐션이 앞을 보고 있다는 뜻이에요.

앞 단어 하나만 바꿨을 뿐인데
다음 단어 확률이 완전히 뒤집혔죠.
LLM이 똑똑해 보이는 비결이 여기 있어요.
앞 문맥 전체를 살펴보고
지금 상황에 맞는 다음 단어를 고르거든요.
그래서 같은 질문이라도
앞에 어떤 맥락을 깔아주느냐에 따라
답이 사뭇 달라져요.
문맥을 잘 잡는 게 곧 실력인 셈이에요.

한 가지에서 여러 능력이 나와요

여기서 놀라운 일이 벌어져요.
그저 다음 단어를 잘 맞히게 했을 뿐인데
시키지 않은 능력이 따라 나와요.
긴 글 다음에 요약하면 같은 흐름이면
요약 문장을 그럴듯하게 이어 쓰고,
한국어 다음에 영어로 같은 흐름이면
번역을 이어 쓰고,
문제 다음에 코드 같은 흐름이면
코딩까지 해내요.
이렇게 저절로 생긴 능력을 창발이라고 해요.

능력을 눌러 바꿔봐요. 요약, 번역, 코딩 모두 똑같은 다음 단어 맞히기에서 나와요. 앞에 깔린 흐름만 다를 뿐, 기계가 하는 일은 하나예요.

버튼만 바꿨는데 하는 일이 달라 보였죠.
하지만 속을 보면 전부 똑같아요.
앞 흐름을 보고 다음 단어를 맞히는 거예요.
엄청난 양의 글로 이 하나를 갈고닦으니
여러 능력이 덤처럼 따라온 거예요.
다만 한 가지는 꼭 기억해요.
LLM은 진실을 아는 게 아니라
가장 그럴듯한 다음 단어를 고를 뿐이에요.
그래서 당당하게 틀리기도 해요.

정리해볼까요

한 줄로 모으면 이래요.
LLM은 앞 문맥을 보고
다음 단어를 확률로 맞히는 기계예요.
후보마다 확률을 매겨 높은 걸 고르고,
한 단어씩 붙여 긴 글을 만들어요.
앞 단어가 바뀌면 확률도 달라지는데
그렇게 앞을 골라 보는 게 어텐션이에요.
이 하나를 잘하다 보니
요약, 번역, 코딩이 창발했어요.
다만 진실이 아니라 그럴듯함을 고르는 점, 잊지 말아요.

핵심을 차례로 눌러 되짚어봐요. (다음 단어를 맞힘 -> 확률로 골라 한 단어씩 붙임 -> 앞 문맥을 봐서 달라짐, 어텐션 -> 여러 능력이 창발)

이제 LLM의 정체가 보이죠.
마법이 아니라 다음 단어를
확률로 맞히는 기계였어요.
간단한 일을 어마어마한 규모로 잘하니
뜻밖의 능력까지 피어난 거예요.
사실 지금 여러분과 이야기하는
저 같은 모델도 바로 이런 기계예요.
그런데 그럴듯함만 좇다 보면
때로 자신 있게 틀려요.
다음엔 이 한계와 책임을 이어서 살펴봐요.