機械が「学習する」とは、ほんとうは どういう ことか

ふつうの プログラムは ひとが きそくを ひとつずつ かいて うごかします。でも せの なかの ことは きそくが おおすぎて ぜんぶ かくのが むずかしい。きかいがくしゅうは みちを ひっくりかえします。こたえの ついた れいを たくさん みせると、きかいが その れいから きょうつうの パターン、つまり きそくを じぶんで みつけます。はじめは まちがえますが、れいを ふやすほど どこが まちがったか すこしずつ なおして だんだん よく あたります。そうして みがいた パターンで、いちども みた ことの ない あたらしい にゅうりょくまで よそく できます。まとめると、きそくを ひとが かく かわりに れいで きかいが みつけ、まちがえて なおし、あたらしい ものを よそくするのが まなぶ という ことです。

とうけいは たくさんの データを すくない すうじに まとめる めです。ひとつめは へいきんです。ぜんぶ たして かずで わった まんなかの あたいで、データが だいたい どのあたりかを おしえます。ふたつめは ちらばりです。てんが まんなかから どれくらい とおく ちらばっているかを いいます。この ふたつは ペアです。へいきんが おなじでも ちらばりが ちがえば まったく ちがう データだからです。せまく あつまった むれと ひろく ちらばった むれは まんなかが おなじでも せいかくが ちがいます。きを つけることも あります。とおくに とびでた いってん、はずれちは へいきんを かんたんに ひっぱります。だから まんなかの あたい ひとつだけを しんじず、ちらばりと とびでた あたいも いっしょに みましょう。まとめると、まんなかと ちらばり ふたつの すうじで データを ひとめで みるのが とうけいです。

かくりつは ある ことが どれくらい ありそうかを 0と1の あいだの すうじで つけた ものです。0なら ほとんど おきず、1なら ほとんど まちがいなし、0.5なら はんはん。さいころや コインのように なんども やってみると、それぞれの けっかが でた わりあいが ほんとうの かくりつに だんだん ちかづきます。いちにかいは ばらつくけど、たくさん やるほど おちつく。ふたつの ことが いっしょに おきる かのうせいは、それぞれの かのうせいを かけて みつもります。りょうほうが ありそうでないと いっしょも ありそうに ならないから。そして たしかでないとき、わたしたちは いちばん ありそうな ほうを えらびます。AIも おなじ。こたえを しっていると きめつけず、いくつかの こうほに かくりつを つけて いちばん ありそうな こたえを えらびます。まとめると、かくりつは ふたしかを すうじで あつかい、いちばん ありそうな ほうを えらばせて くれます。

かいきは ばらついた てんの あいだに いちばん よく あう ちょくせんを ひとつ ひく やりかたです。その せんが y=ax+b なので、あたらしい にゅうりょくを いれると けっかを よそく できます。せんを きめるのは ふたつだけ。かたむき a は にゅうりょくが ひとつ ふえると けっかが どれだけ あがるかを きめ、yせっぺん b は せんが うえした どこに かかるかを きめます。いちばん よく あう せんは てんとの ずれ、つまり てんから せんまでの きょりの ごうけいが いちばん ちいさい せんです。ずれを めで へらしながら その せんに ちかづくのです。かたむき a と せっぺん b という この ふたつの すうじは、あとで ニューロンの じゅうみと バイアスに そのまま つながります。

ぶんるいは どの グループに はいるかを わける ことです。かいきが あたいを ひとつ あてるのに たいして、ぶんるいは どちらの グループかを こたえます。やりかたは かんたん。ふたつの グループの あいだに きょうかいせんを いっぽん ひいて りょうがわに わけます。あたらしい てんが きたら、きょうかいの どちらがわに あるかを みるだけで グループが きまります。はかる ひつようは なく、ばしょ ひとつで わけるのです。グループが みっつ いじょうなら、きょうかいを もっと ひいて いくつもの ますに わければ いい。まとめると、てんの あいだに きょうかいを ひき、あたらしい てんは その きょうかいの どちらがわかで わけるのが ぶんるいです。

そんしつは モデルが どれだけ まちがったかを ひとつの すうじで はかったもの。てん ひとつごとに よそくと せいかいの あいだの ずれ、つまり たての きょりが あります。この きょりたちを ぜんぶ たすと、ぜんたいが どれだけ まちがったかが ひとつの すうじに あつまります。それが そんしつです。そんしつが おおきいと せんが てんと おおきく ずれていて、ちいさいと よく あっています。だから いい モデルを つくることは、そんしつを ちいさく することと おなじ。せんを あちこち うごかして、そんしつの すうじが へる ほうを えらべば いい。こうして そんしつを へらしていくことが まさに がくしゅうです。つぎは そんしつを どの ほうこうへ へらすか、その みちの さがしかたを みていきます。

こうばいこうかは そんしつを へらすために かたむきを かんじて ひくい ほうへ あたいを いっぽずつ なおしていく やりかたです。そんしつの きょくせんは まんなかが いちばん ひくい たに の かたちで、いま たっている ばしょから あしもとの かたむきを みて さがる ほうへ あたいを すこし かえます。その いっぽの おおきさを ほはば、つまり がくしゅうりつ と いいます。ほはばが おおきすぎると そこを とびこえて はんたいがわへ はね、ちいさすぎると さがるけれど おそい。ほどよい ほはばで あゆみを くりかえせば たにの そこ、つまり そんしつが いちばん ちいさい ばしょへ ちかづきます。まとめると、かたむきを かんじて すこしずつ おりる、ほはばを よく えらぶ、これが こうばいこうかです。

じんこうニューロンは にゅうりょくごとに かさ(おもみ)を かけて ぜんぶ たします。この かたちは かいきで みた ax+b と おなじ。そこの かたむき a が ここでは かさです。かさが おおきいと その にゅうりょくを つよく きき、ちいさいと よわく きく。たした ごうけいが しきいを こえると ニューロンは つき(1)、こえないと きえます(0)。さいしょは かさが ざつで よく まちがえます。そのとき こうばいこうかのように、まちがえた ぶんだけ かさを すこしずつ なおす。あげるか さげるか むきを きめて ひとあしずつ うつせば、ニューロンは だんだん よく あてます。まとめると、にゅうりょくに かさを かけて たし、しきいで つけ、まちがえたら なおすのが ニューロンの まなびかたです。

ニューラルネットは たんじゅんな ニューロンを いくつも かさねて つないだもの。それぞれの そうは まえの そうの しゅつりょくを にゅうりょくに うけとって、もっと おおきな とくちょうを とらえます。まえの そうが ちいさな かけらを みると、あとの そうは その かけらを あつめて もっと おおきな かたちを みる。ひとつ かならず ひつような ものが あります。そうと そうの あいだに しんごうを まげる ひせんけいの だんかいが ひつようです。まげる だんかい なしで ただ たしざんを くりかえすと、いくら そうを かさねても けっきょく いっぽんの ちょくせんに まとまり、ひとつの そうと おなじに なります。まげる だんかいが あって はじめて かさねた かいが でて、きょくせんのような ふくざつな きょうかいも まなべます。まとめると、ニューロンを かさねて あいだに まげる だんかいを おくと ふくざつな パターンを まなぶ、それが ニューラルネットです。

バックプロパゲーションは ニューラルネットが まちがえた とき その まちがいを ぎゃくに たどって なおす ほうほうです。まず しんごうを まえへ ながして よそくを だし、せいかいと くらべて どれだけ まちがったかを そんしつで はかります。つぎが かなめ。その そんしつを しゅつりょくから にゅうりょくの ほうへ ぎゃくに ながし、かくの かさが まちがいに どれだけ きよしたか ぶんを けいさんします。ドミノを ぎゃくに たどるような もの。さいごに その ぶんだけ かくの かさを けいしゃこうかで すこしずつ なおします。せきにんの おおきい かさは おおく、ちいさい かさは すこし かえます。この まえへ よそくし ぎゃくに たどって ちょうせいする ながれを なんども くりかえすと、あみの よそくが だんだん せいかいに ちかづきます。ひとことで、まちがいを ぎゃくに たどって だれの せきにんか みわけ、その ぶん なおすのが バックプロパゲーションです。

かじょうてきごうとは、モデルが くんれんデータを あんきしてしまい、あたらしい データに よわく なること。てんを のこらず すべて とおる くねくねした きょくせんは、くんれんの てんすうは 100てんでも、あたらしい てんが くると とんでもなく はずれます。ほんとうの りかいは、てん ひとつひとつでは なく ぜんたいに ながれる いっぱんてきな パターンを とらえること。だから データを みっつに わけます。くんれんデータで まなび、けんしょうデータで とちゅう てんけんを し、テストデータは さいごまで かくしておいて さいごに いちどだけ みます。みていない データで うまく できるかが ほんとうの じつりょくだからです。モデルは たんじゅんすぎると パターンを とらえられず(かしょう)、ふくざつすぎると あんきしてしまう(かじょう)。その あいだの ちょうど よい ぐあいが いちばん よく いっぱんかします。まとめると、あんきさせず パターンを とらえさせ、みていない データで じつりょくを はかるのが かなめです。

AI の じつりょくは モデルと おなじくらい、もしかすると それ いじょうに データに かかっています。ひとつめ、ごみを いれると ごみが でる。ラベルが まちがった、かたよった データで まなぶと、きかいは その まちがいまで そのまま まねて まなびます。ふたつめ、きれいで バランスの とれた いい ざいりょうを あげると、おなじ きかいでも きちんと まなびます。みっつめ、もんだいに あう とくちょうを えらぶ ひつようが あります。いえの ねだんを あてるなら ひろさや ばしょは やくに たちますが、もんの いろは たすけに なりません。むかんけいな とくちょうは むしろ じゃまに なります。よっつめ、いい データは おおいほど いい。れいが ふえるほど ぐうぜんに ふりまわされにくく なり、ほんとうの パターンを とらえます。まとめると、きれいで かたよらない データを、もんだいに あう とくちょうで、たっぷり あたえるのが いい AI の どだいです。

CNNは がぞうを みる ニューラルネットです。まず しゃしんは じつは あかるさの すうじが びっしりの こうしです。あかるいと おおきな すう、くらいと ちいさな すう。CNNは ちいさな フィルター、つまり むしめがねのような ちいさな ばんを がぞうの ひとますに あて、そこに さがす とくちょうが あるか てんすうを つけます。おなじ フィルターを こうしの うえで ひとますずつ うごかすと、その とくちょうが えの どこに あっても みつける とくちょうマップが できます。いちが ずれても おなじ フィルターで さがすので へいきです。そして こういう そうを なんまいも かさねると、まえの そうは ちいさな へりを とらえ、その うえの そうは へりを あつめて めや はなを、もっと うえの そうは それらを あつめて かおぜんたいを みわけます。そうを あげるほど だんだん ちゅうしょうてきな とくちょうを とらえます。まとめると、しゃしんを すうじの こうしと みて ちいさな フィルターで さがし、その そうを かさねて ちゅうしょうどを あげるのが CNNです。

エンベディングは ことばを いみの ざひょうに かえる こと。ざひょうは ただの すうじの たばなので、コンピュータが あつかえます。だいじな やくそくは いみが にた ことばを ちかくに おく こと。だから キングと クイーン、いぬと ねこは たがいに ちかくに あつまり、ぜんぜん ちがう ことばは とおく はなれます。ざひょうなので たしたり ひいたり できて、その けいさんが ふしぎと いみを もちます。キングから おとこを ひいて おんなを たすと クイーンの ちかくに つきます。そして この やりかたは ことば だけでは ありません。がぞう、おんせい、ユーザーまで おなじように ざひょうに かえて、にた ものを ちかくに おけば コンピュータは にている ことを きょりで はかれます。まとめると、ことばを ざひょうに かえて にた いみを ちかくに あつめるのが エンベディングで、これが コンピュータが いみを あつかう だいいっぽです。

アテンションは ぶんの なかで、いま みている たんごに だいじな たんごに もっと しゅうちゅうする わざです。すべての たんごを おなじように みるのでは なく、かんれんが おおきい たんごに もっと おおきな じゅうみを あたえます。この じゅうみを ぜんぶ あつめると、ごうけいが 1 に なるように わけあいます。だから おなじ たんごでも まわりが かわると かいしゃくが かわります。'Apple' の となりに 'eat' を おくと くだものの ほうへ、'stock' を おくと かいしゃの ほうへ いみの ざひょうが うつります。たぎごの いみを ぶんみゃくが きめるのは まさに この おかげです。まとめると、だいじな ところに もっと しゅうちゅうし、その しゅうちゅうを じゅうみとして わけて、ぶんみゃくで いみを きめるのが アテンションです。

LLM は まえの ぶんみゃくを みて、つぎの ことばを かくりつで あてる きかいです。つぎに くるかもしれない ことばの こうほ ごとに、もっともらしさを かくりつで つけ、その なかで たかいものを えらびます。えらんだ ことばを ぶんの おわりに つけ、のびた ぶんで また つぎの ことばを あてます。これを ひとことずつ くりかえして ながい ぶんを つくります。まえの ことばが かわると つぎの ことばの かくりつも かわり、まえの ぶんみゃくを えらんで みる この ちからが、まえに まなんだ アテンションです。そして ぼうだいな ぶんで この ひとつを じょうずに できるよう くんれんした けっか、たのまれてもいない ちからまで ついてきました。ようやくも し、ほんやくも し、コーディングも します。こうして ひとりでに あらわれる ちからを そうはつと いいます。ただ おぼえておいて。LLM は しんじつを しっている わけでは なく、いちばん もっともらしい つぎの ことばを えらぶだけ。だから じしんまんまんで まちがう ことも あります。げんかいは つぎの こうで あつかいます。

せいせい AI は まなんだ パターンで あたらしいものを つくる AI です。おぼえたものを そのまま コピーするのでは なく、たくさんの れいから みに つけた パターンで あたらしい くみあわせを つくります。つくれるのは ぶんだけでは ありません。がぞう、おんがく、えいぞうも つくれます。だから せいせい AI は ぶんを かく LLM より ひろい ことばです。がぞうを つくる ときは よく ざらざらした ノイズから はじめます。その ぼやけた てんを すこしずつ ととのえると、だんだん えの かたちが うかびます。そして ひとが しじを あたえます。なにを つくるか ことばで かく ものを プロンプトと いいます。おなじ AI でも プロンプトを かえると けっかの ほうこうが かわります。まとめると せいせい AI は まなんだ パターンで あたらしく つくり、ぶんだけで なく がぞうや おんがくも つくり、ノイズから ととのえて えを つくり、プロンプトで ほうこうを きめます。

AI は つよいですが かんぺきでは ありません。ひとつめ、AI は データで まなぶので、データが かたほうに かたよると AI の けっていも かたよります。これが へんこうです。ふたつめ、AI は かくりつで それらしい ことばを つなぐので、しらない ことを ほんとうのように じしんを もって でっちあげる ことも あります。これが かんかくで、だから あたらしい じじつや でどころを いつも たしかめる ひつようが あります。みっつめ、おなじ ぎじゅつが よくも わるくも つかえます。どうぐ そのものでなく つかいかたが よしあしを わけます。だから せきにん ある AI が ひつようです。ひとが けっかを たしかめ、どう つくったかを とうめいに しめし、みんなに こうへいかを みまもる。まとめると、へんこう と かんかく と あくよう という げんかいを しり、ひとが たしかめながら つかうのが せきにん ある AI です。