わかりやすく LLMはどう動く
大規模言語モデル、略してLLMは、文章を書き、翻訳をし、プログラムまで書いてくれます。魔法のように見えますが、中をのぞくと、やっていることは意外にも一つだけです。それまでの言葉を見て、次に来る言葉を当てることです。その予測を一つずつつなげていくと、文になり、長い答えになります。この仕事を受け持つのは、前のレッスンで見たアテンションを何層も重ねたトランスフォーマーです。本当にそれだけなのか、一歩ずつ確かめてみましょう。
次に来る言葉を当てる
スマートフォンでメッセージを打つときを思い出してください。一つ言葉を打つと、キーボードが次に来そうな言葉をいくつか出してくれます。LLMがしていることも、本質は同じです。ただし、はるかにたくさんの文章から学び、はるかに長い前の文脈を見ています。
LLMはそれまでの言葉をすべて読み、次に来る言葉を一つ選びます。選んだ言葉をつけたら、長くなった文を読み直して、その次の言葉を選びます。正確には、単語より小さなかけらであるトークンという単位で選びますが、ここでは簡単に言葉と呼びます。
候補の言葉を押して、文をつなげてみましょう。押すたびに次の言葉の候補が確率といっしょに表示され、文が一語ずつ伸びていきます。
次の言葉を選んだだけなのに、いつのまにか意味の通る文ができました。秘密は候補ごとについた数、つまり確率です。確率は、その言葉が次に来る見込みがどれくらい大きいかを表します。
文法に合い、意味が通じる言葉ほど確率が高く、とんちんかんな言葉ほど低くなります。LLMは、膨大な文章の中でどの言葉のあとにどの言葉がよく来るかを学んで、この確率を計算します。
確率で一つを選ぶ
確率は難しくありません。次に来うる言葉ごとに、どれくらいもっともらしいかを点数にし、全部足すと百パーセントになるようにそろえたものです。「空が晴れて」のあとでは「涼しい」のような言葉の確率が高く、「真っ暗だ」は低くなります。
LLMはふつう、確率の高い言葉を選びます。ただし、いつも一番だけを選ぶわけではなく、確率に応じてくじ引きのように選ぶこともあります。同じ質問でも答えが少しずつ変わるのは、このためです。
各段で確率がいちばん高い言葉を押して選んでみましょう。選んだ言葉が文につき、次の段に進みます。候補はあらかじめ決まっているので、何度やっても同じ結果になります。
一語選ぶたびに、文が一つずつ長くなりました。実際のLLMは、長くなった文全体を読み直して、次の言葉の候補を新しく計算します。
選んで、つけて、読み直して、また選ぶ。この短い動きを数えきれないほど繰り返すと、段落になり、長い答えになります。LLMの文章は一度に浮かぶのではなく、こうして一歩ずつ積み上がっていくのです。
前の文脈によって確率が変わる
次の言葉の確率は固定されていません。前にどんな言葉が来たかによって、大きく変わります。「お腹が空いて」のあとなら食べ物の話が、「船が港について」のあとなら船や海の話がもっともらしくなります。
すぐ前の言葉が同じでも、前の文脈が違えば次に来る言葉はがらりと変わります。前の文脈から必要な言葉を選んで見る仕事は、前のレッスンで見たアテンションが受け持ちます。
前の文脈を押して切り替えてみましょう。すぐ前の言葉が同じでも、前の文脈が変わると、次の言葉の確率の棒がまるごと入れ替わります。
前の文脈を一つ変えただけで、次の言葉の確率がひっくり返りました。LLMが賢く見える秘密はここにあります。前の文脈全体を見わたして、いまの状況に合う次の言葉を選んでいるからです。
だから同じ質問でも、前にどんな説明や例を置くかによって、答えはかなり変わります。質問の書き方が大事だと言われるのも、このためです。
一つの仕事からいくつもの力が生まれる
ここで驚くことが起こります。次の言葉をうまく当てるように訓練しただけなのに、教えていない力までついてきます。長い文章のあとに「一言でまとめると」が来れば要約がいちばんもっともらしい続きになり、「英語でいうと」が来れば翻訳がもっともらしい続きになります。
問題の説明のあとに「コードで書くと」が来れば、コードが続きます。こうしてモデルが大きくなるにつれてひとりでに現れる力を、創発的な能力と呼ぶこともあります。
能力のボタンを押して切り替えてみましょう。要約も翻訳もコーディングも、すべて同じ次の言葉当てから生まれます。前に置かれた流れが違うだけで、機械がしている仕事は一つです。
ボタンを変えると違う仕事をしているように見えましたが、中を見ればすべて同じです。前の流れを見て、次の言葉を当てることです。膨大な文章でこの一つを磨き上げたら、いくつもの力がいっしょについてきました。質問にていねいに答えるアシスタントのようにふるまうのは、そのあとで人が答えを評価したデータを使って、もう一度仕上げた結果です。
ただし、必ず覚えておきたいことがあります。LLMは事実を確かめてから答えるのではなく、いちばんもっともらしい次の言葉を選んでいます。だから、存在しない本の題名やまちがった数字を、自信たっぷりに言うこともあります。
まとめ
まとめるとこうです。LLMは、前の文脈を見て次の言葉を確率で当てる機械です。候補ごとに確率をつけて一つを選び、一語ずつつないで長い文章を作ります。前の文脈が変われば確率も変わり、前のどこを見るかはアテンションが決めます。
この一つが上手になると、要約や翻訳、コーディングのような力がついてきました。ただし、LLMが選んでいるのは真実ではなく、もっともらしさだということを忘れないようにしましょう。
要点を順に押して振り返りましょう。(次の言葉を当てる → 確率で選び一語ずつつなぐ → 前の文脈で変わる、アテンション → いくつもの力がついてくる)
これで、LLMの正体が見えてきました。魔法ではなく、次の言葉を確率で当てる機械です。この単純な仕事をとてつもない規模でこなすうちに、思いがけない力まで生まれました。
では、AIが作り出すのは文章だけでしょうか。学んだことをもとに、絵や音楽を作るAIもあります。学んだパターンで新しいものを作り出す生成AIを、次のレッスンで扱います。