つぎの ことばを あてる きかい、LLM

つぎに くる ことばを あてる

スマホで ぶんを かくときを おもいだして。
ひとこと うつと キーボードが
つぎに くるかもしれない ことばを そっと みせますよね。
LLM も じつは その しごとを します。
ただ とんでもなく じょうずなだけ。
まえに でた ことばを ずっと よんで
つぎに くる いちばん もっともらしい ことばを えらびます。
その ひとことを つけて
また そのつぎの ことばを えらびます。

ことばを おして ぶんを つないでみて。おすたびに つぎに くる ことばの こうほが かくりつと いっしょに でます。ひとことずつ つけて ぶんが そだちます。

ふしぎでしょう。
ただ つぎの ことばを えらんだだけなのに
いつのまにか いみの とおる ぶんに なりました。
ひけつは こうほ ごとに ついた すうじです。
その すうじが まさに かくりつ。
ある ことばが つぎに くる かのうせいが
どれくらい たかいかを あらわす てんすうです。
LLM は その なかで たかい ことばを えらびます。
かくりつが なにかを つぎで みましょう。

かくりつで ひとつを えらぶ

かくりつは むずかしくありません。
つぎに くる ことばごとに
どれくらい もっともらしいか てんすうを つけたものです。
てんすうが たかいほど もっともらしい いみです。
たとえば そらが はれた のあとには
まぶしい のような ことばの てんすうが たかく
まっくら は てんすうが ひくい。
LLM は ふつう てんすうが たかい ことばを えらびます。
そうして えらんだ ことばを ぶんに つけます。

おのおのの だんで かくりつが いちばん たかい ことばを おして えらんで。えらんだ ことばが ぶんに つき、つぎの だんへ すすんで また えらびます。あらかじめ きまった こうほなので おすたびに おなじに でます。

ひとことを えらぶたびに
ぶんが ひとマスずつ ながく なりましたね。
そして ながく なった ぶんを また よんで
そのつぎの ことばの こうほを あたらしく だしました。
えらんで、つけて、また えらぶ。
この みじかい うごきを なんども くりかえすと
だんらくにも なり ながい こたえにも なります。
LLM の ぶんしょうは まるごと うかぶのでは なく
こうして いっぽずつ つみあがるのです。

まえの ぶんみゃくを みて かわる

でも つぎの ことばの かくりつは こていでは ありません。
まえに どんな ことばが きたかで
いっしゅんで がらりと かわります。
おなかが すいた のあとは たべる はなしが、
ふねが みなとに のあとは うみの はなしが
もっともらしく なります。
おなじ ふね でも まえの ぶんみゃくが ちがえば
つぎに くる ことばが まるごと かわります。
まえを えらんで みる この ちからが アテンションです。

まえの ことばを おして かえてみて。おなじ いちでも まえの ぶんみゃくが かわると つぎの ことばの かくりつの ぼうが まるごと かわります。アテンションが まえを みている しるしです。

まえの ことばを ひとつ かえただけなのに
つぎの ことばの かくりつが まるごと ひっくりかえりました。
LLM が かしこく みえる ひけつが ここに あります。
まえの ぶんみゃく ぜんたいを みわたして
いまの じょうきょうに あう つぎの ことばを えらぶからです。
だから おなじ しつもんでも
まえに どんな みゃくらくを しいたかで
こたえが ずいぶん かわります。
ぶんみゃくを よく つかむのが すなわち じつりょくです。

ひとつから いくつもの ちからが でる

ここで おどろくべき ことが おこります。
ただ つぎの ことばを よく あてさせただけなのに
たのまれてもいない ちからが ついてきます。
ながい ぶんの あとに ようやく すれば のながれなら
ようやくの ぶんを もっともらしく かきつぎ、
かんこくごの あとに えいごで のながれなら
ほんやくを かきつぎ、
もんだいの あとに コード のながれなら
コーディングまで やってのけます。
こうして ひとりでに できた ちからを そうはつと いいます。

ちからを おして きりかえて。ようやく、ほんやく、コーディング、すべて おなじ つぎの ことば あてから でます。まえの ながれが ちがうだけで、きかいの しごとは ひとつです。

ボタンを かえただけなのに しごとが ちがって みえましたね。
でも なかを みれば ぜんぶ おなじ。
まえの ながれを みて つぎの ことばを あてるのです。
ぼうだいな ぶんで この ひとつを みがいたら
いくつもの ちからが おまけのように ついてきました。
ただ ひとつは かならず おぼえて。
LLM は しんじつを しっている わけでは なく
いちばん もっともらしい つぎの ことばを えらぶだけ。
だから どうどうと まちがう ことも あります。

まとめて みましょう

ひとことに まとめると こうです。
LLM は まえの ぶんみゃくを みて
つぎの ことばを かくりつで あてる きかいです。
こうほ ごとに かくりつを つけ たかいものを えらび、
ひとことずつ つけて ながい ぶんを つくります。
まえの ことばが かわると かくりつも かわり
そうして まえを えらんで みるのが アテンションです。
この ひとつを じょうずに できた けっか
ようやく、ほんやく、コーディングが そうはつしました。
ただ しんじつでなく もっともらしさを えらぶ ことを わすれずに。

かなめを じゅんに おして ふりかえって。(つぎの ことばを あてる -> かくりつで えらび ひとことずつ つける -> まえの ぶんみゃくで かわる、アテンション -> いくつもの ちからが そうはつ)

これで LLM の しょうたいが みえますね。
まほうでは なく つぎの ことばを
かくりつで あてる きかいでした。
かんたんな ことを とんでもない きぼで じょうずに できると
おもいがけない ちからまで さきました。
じつは いま みなさんと はなしている
わたしのような モデルも まさに こんな きかいです。
でも もっともらしさだけを おうと
ときに じしんまんまんで まちがえます。
つぎは この げんかいと せきにんを つづけて みましょう。