어떻게 다음 단어를 맞히는 기계, LLM

다음에 올 단어를 맞혀요

휴대폰으로 메시지를 쓸 때를 떠올려 보자. 한 단어를 치면 키보드가 다음에 올 만한 단어를 몇 개 띄워 준다. LLM이 하는 일도 본질은 같아요. 다만 훨씬 많은 글을 읽고 배웠고, 훨씬 긴 앞 문맥을 본다.
LLM은 앞에 나온 말을 모두 읽고 다음에 올 말을 하나 고른다. 고른 말을 붙인 뒤 늘어난 문장을 다시 읽고 그다음 말을 고른다. 정확히 말하면 단어보다 작은 조각인 토큰 단위로 고르지만, 여기서는 쉽게 단어라고 부른다.

후보 단어를 눌러 문장을 이어 보자. 누를 때마다 다음에 올 단어 후보가 확률과 함께 뜨고, 문장이 한 단어씩 자라요.

다음 단어를 골랐을 뿐인데 어느새 말이 되는 문장이 생겼다. 비결은 후보마다 붙은 숫자, 곧 확률이다. 확률은 그 단어가 다음에 올 가능성이 얼마나 큰지를 나타낸다.
문법에 맞고 뜻이 통하는 단어일수록 확률이 높고, 엉뚱한 단어일수록 낮아요. LLM은 많은 글에서 어떤 말 뒤에 어떤 말이 자주 오는지를 배워서 이 확률을 계산한다.

확률로 하나를 골라요

확률은 어렵지 않다. 다음에 올 수 있는 단어마다 얼마나 그럴듯한지를 점수로 매기고, 모든 후보의 점수를 더하면 백 퍼센트가 되도록 맞춘 것이다. 하늘이 맑다는 말 뒤에는 '시원하다' 같은 단어의 확률이 높고, '캄캄하다'는 낮아요.
LLM은 보통 확률이 높은 단어를 고른다. 다만 늘 일등만 고르지는 않고, 확률에 비례해 제비를 뽑듯 고르기도 한다. 같은 질문에도 답이 조금씩 달라지는 까닭이에요.

칸마다 확률이 가장 높은 단어를 눌러 골라 보자. 고른 단어가 문장에 붙고 다음 칸으로 넘어가요. 후보가 미리 정해져 있어서 몇 번을 해도 같은 결과가 나온다.

한 단어를 고를 때마다 문장이 한 칸씩 길어졌다. 실제 LLM은 길어진 문장 전체를 다시 읽고 그다음 단어의 후보를 새로 계산해요.
고르고, 붙이고, 다시 읽고, 또 고른다. 이 짧은 동작을 수없이 되풀이하면 문단이 되고 긴 답이 된다. LLM의 글은 한꺼번에 떠오르는 것이 아니라 이렇게 한 걸음씩 쌓여요.

앞 문맥에 따라 확률이 달라져요

다음 단어의 확률은 고정돼 있지 않다. 앞에 어떤 말이 왔느냐에 따라 크게 달라진다. '배가 고파서' 다음에는 먹는 이야기가, '배가 항구에 닿아서' 다음에는 바다 이야기가 그럴듯해져요.
같은 '배'라도 앞 문맥이 다르면 다음에 올 단어가 완전히 바뀐다. 앞 문맥에서 필요한 단어를 골라 보는 일은 앞 레슨에서 본 어텐션이 맡는다.

앞 문맥을 눌러 바꿔 보자. 바로 앞 말은 같아도 앞 문맥이 달라지면 다음 단어 확률 막대가 통째로 바뀌어요.

앞 문맥 하나를 바꿨을 뿐인데 다음 단어 확률이 뒤집혔다. LLM이 똑똑해 보이는 비결이 여기에 있다. 앞 문맥 전체를 살펴 지금 상황에 맞는 다음 단어를 고르기 때문이에요.
그래서 같은 질문이라도 앞에 어떤 설명과 예시를 깔아 주느냐에 따라 답이 사뭇 달라진다. 질문을 잘 써야 한다는 말이 나오는 까닭도 여기에 있다.

한 가지 일에서 여러 능력이 나와요

여기서 놀라운 일이 생긴다. 다음 단어를 잘 맞히도록 훈련했을 뿐인데, 따로 가르치지 않은 능력이 따라 나온다. 긴 글 뒤에 '한마디로 요약하면'이 오면 요약 문장이 가장 그럴듯한 다음 말이 되고, '영어로 하면'이 오면 번역이 그럴듯한 다음 말이 돼요.
문제 설명 뒤에 '코드로 쓰면'이 오면 코드가 이어진다. 이렇게 모델이 커지면서 저절로 드러나는 능력을 창발적 능력이라고 부르기도 한다.

능력 버튼을 눌러 바꿔 보자. 요약, 번역, 코딩이 모두 같은 다음 단어 맞히기에서 나온다. 앞에 깔린 흐름만 다를 뿐 기계가 하는 일은 하나예요.

버튼을 바꾸니 하는 일이 달라 보였지만, 속을 보면 전부 같다. 앞 흐름을 보고 다음 단어를 맞히는 일이다. 엄청난 양의 글로 이 한 가지를 갈고닦았더니 여러 능력이 함께 따라왔어요. 질문에 친절하게 답하는 비서처럼 행동하는 것은 그 뒤에 사람이 답을 평가한 자료로 한 번 더 다듬은 결과다.
다만 꼭 기억할 점이 있다. LLM은 사실을 확인하고 답하는 것이 아니라 가장 그럴듯한 다음 단어를 고른다. 그래서 없는 책 제목이나 틀린 숫자를 자신 있게 말하기도 한다.

정리

정리하면 이렇다. LLM은 앞 문맥을 보고 다음 단어를 확률로 맞히는 기계다. 후보마다 확률을 매겨 하나를 고르고, 한 단어씩 붙여 긴 글을 만든다. 앞 문맥이 바뀌면 확률도 바뀌는데, 앞에서 무엇을 볼지는 어텐션이 정해요.
이 한 가지를 잘하게 되자 요약, 번역, 코딩 같은 능력이 따라 나왔다. 다만 LLM이 고르는 것은 사실이 아니라 그럴듯함이라는 점을 잊지 말아야 한다.

핵심을 차례로 눌러 되짚어 보자. (다음 단어를 맞힘 → 확률로 골라 한 단어씩 붙임 → 앞 문맥에 따라 달라짐, 어텐션 → 여러 능력이 따라 나옴)

이제 LLM의 정체가 보인다. 마법이 아니라 다음 단어를 확률로 맞히는 기계이고, 이 단순한 일을 엄청난 규모로 해내다 보니 뜻밖의 능력까지 생겼어요.
그렇다면 AI가 만들어 내는 것은 글뿐일까? 배운 것을 바탕으로 그림과 음악을 만드는 AI도 있다. 배운 패턴으로 새로운 것을 만들어 내는 생성 AI를 다음 레슨에서 다룬다.