わかりやすく LLMはどう動く

次に来る言葉を当てる

スマホで文を書くときを思い出して。
一語打つとキーボードが
次に来そうな言葉をそっと見せますよね。
LLMも実はその仕事をします。
ただとんでもなく上手なだけ。
前に出た言葉をずっと読んで
次に来るいちばんもっともらしい言葉を選びます。
その一語をつけて
またその次の言葉を選びます。

言葉を押して文をつないでみて。押すたびに次に来る言葉の候補が確率といっしょに出ます。一語ずつつけて文が育ちます。

不思議でしょう。
ただ次の言葉を選んだだけなのに
いつのまにか意味の通る文になりました。
秘訣は候補ごとに付いた数字です。
その数字がまさに確率。
ある言葉が次に来る可能性が
どれくらいかを表す点数です。
LLMはその中で高い言葉を選びます。
確率が何かを次で見ましょう。

確率で一つを選ぶ

確率は難しくありません。
次に来る言葉ごとに
どれくらいもっともらしいか点数をつけたものです。
点数が高いほどもっともらしい意味です。
たとえば空が晴れたのあとには
まぶしいのような言葉の点数が高く
まっくらは点数が低い。
LLMはふつう点数が高い言葉を選びます。
そうして選んだ言葉を文につけます。

各段で確率がいちばん高い言葉を押して選んで。選んだ言葉が文につき、次の段へ進んでもう一度選びます。あらかじめ決まった候補なので、押すたび同じに出ます。

一語を選ぶたびに
文が一マスずつ長くなりましたね。
そして長くなった文をまた読んで
その次の言葉の候補を新しく出しました。
選んで、つけて、また選ぶ。
この短い動きを何度も繰り返すと
段落にもなり長い答えにもなります。
LLMの文章はまるごと浮かぶのではなく
こうして一歩ずつ積み上がるのです。

前の文脈を見て変わる

でも次の言葉の確率は固定ではありません。
前にどんな言葉が来たかで
一瞬でがらりと変わります。
お腹が空いたのあとは食べる話が、
船が港にのあとは海の話が
もっともらしくなります。
同じ船でも前の文脈が違えば
次に来る言葉がまるごと変わります。
前を選んで見るこの力がアテンションです。

前の言葉を押して変えてみて。同じ位置でも前の文脈が変わると、次の言葉の確率の棒がまるごと変わります。アテンションが前を見ているしるしです。

前の言葉を一つ変えただけなのに
次の言葉の確率がまるごとひっくり返りました。
LLMが賢く見える秘訣がここにあります。
前の文脈全体を見渡して
今の状況に合う次の言葉を選ぶからです。
だから同じ質問でも
前にどんな脈絡を敷いたかで
答えがずいぶん変わります。
文脈をよくつかむのがすなわち実力です。

一つからいくつもの力が出る

ここで驚くべきことが起こります。
ただ次の言葉をよく当てさせただけなのに
頼まれてもいない力がついてきます。
長い文のあとに要約すればの流れなら
要約の文をもっともらしく書き継ぎ、
こんにちはのあとに英語での流れなら
翻訳を書き継ぎ、
問題のあとにコードの流れなら
コーディングまでやってのけます。
こうしてひとりでにできた力を創発といいます。

力を押して切り替えて。要約、翻訳、コーディング、すべて同じ次の言葉当てから出ます。前の流れが違うだけで、機械の仕事は一つです。

ボタンを変えただけなのに仕事が違って見えましたね。
でも中を見れば全部同じ。
前の流れを見て次の言葉を当てるのです。
膨大な文でこの一つを磨いたら
いくつもの力がおまけのようについてきました。
ただ一つは必ず覚えて。
LLMは真実を知っているわけではなく
いちばんもっともらしい次の言葉を選ぶだけ。
だから堂々と間違うこともあります。

まとめてみましょう

一言にまとめるとこうです。
LLMは前の文脈を見て
次の言葉を確率で当てる機械です。
候補ごとに確率をつけ高いものを選び、
一語ずつつけて長い文を作ります。
前の言葉が変わると確率も変わり
そうして前を選んで見るのがアテンションです。
この一つを上手にできた結果
要約、翻訳、コーディングが創発しました。
ただ真実でなくもっともらしさを選ぶことを忘れずに。

要を順に押して振り返って。(次の言葉を当てる -> 確率で選び一語ずつつける -> 前の文脈で変わる、アテンション -> いくつもの力が創発)

これでLLMの正体が見えますね。
魔法ではなく次の言葉を
確率で当てる機械でした。
簡単なことをとんでもない規模で上手にできると
思いがけない力まで咲きました。
実はいま皆さんと話している
私のようなモデルもまさにこんな機械です。
でももっともらしさだけを追うと
ときに自信満々で間違えます。
次はこの限界と責任を続けてみましょう。