まちがいを ぎゃくに たどる、バックプロパゲーション

まず まえへ よそくする

ニューラルネットは こたえを だす とき しんごうを まえへ ながします。
にゅうりょくから しゅっぱつし
そうを じゅんに とおって
しゅつりょくで よそくが でます。
まえの こうで みた あの じゅんぽうこうの ながれです。
でも できたばかりの あみは
かさが てきとうに きまっているので
よそくが せいかいと だいぶ ちがう ことが あります。
まず この まえへの ながれから みなおしましょう。

ボタンを おして しんごうを にゅうりょくから しゅつりょくまで ひとそうずつ まえへ ながして。さいごに よそくが でますが、まだ せいかいと ちがいます。

よそくが でましたが せいかいと ちがいますね。
この さが まさに まちがいです。
どれだけ まちがったかを すうじで はかったものを
そんしつと いいます。
そんしつが おおきければ よく まちがい、
そんしつが ゼロに ちかければ よく あたっています。
わたしたちの もくひょうは この そんしつを へらす こと。
でも あみには かさが かぞえきれないほど あります。
どれを なおせば そんしつが へるのでしょう?

だれが まちがいの せきにん?

しゅつりょくが まちがいました。
でも しゅつりょくだけが まちがったのでは ありません。
しゅつりょくは すぐ まえの そうから うけた しんごうで こたえを だし、
その まえの そうは また その まえの そうの しんごうで こたえを だしました。
だから まちがいの せきにんは
ひとつの かさだけに あるのでは なく
よそくに かかわった すべての かさに
すこしずつ わかれて います。
まず しゅつりょくで まちがいの おおきさから かくにんします。

しゅつりょくの よそくと せいかいを くらべます。ボタンを おして まちがい(そんしつ)を しめすと、この まちがいが どこから きたか ぎゃくに さがす ひつようが みえます。

しゅつりょくで まちがいの おおきさを みました。
これから この まちがいを さかのぼります。
かんがえてみて。
しゅつりょくに はいる つながりが いくつも ある とき、
ある つながりは しんごうを おおきく おくり
ある つながりは ちいさく おくりました。
おおきく おくった つながりほど
まちがった しゅつりょくに より おおく きよしたのです。
だから その つながりの せきにんも より おおきい。

まちがいを ぎゃくに もどす

いよいよ ほんとうの バックプロパゲーションです。
まちがいを しゅつりょくから にゅうりょくの ほうへ
ひとそうずつ ぎゃくに ながします。
まえへ いく ときと まぎゃくの ほうこうです。
たおれた ドミノの みちを ぎゃくに たどって
いちばん さいしょに だれが さわったか さがすのと おなじ。
ひとそうずつ もどる たびに
その そうの かくの つながりが
まちがいに どれだけ きよしたか ぶんが きまります。

ボタンを おして まちがいを しゅつりょくから にゅうりょくの ほうへ ひとそうずつ ぎゃくに ながして。もどる たびに かくの つながりに せきにんの ぶんが つきます。ふといほど せきにんが おおきい。

ぎゃくに ぜんぶ もどりました。
これで あみの すべての かさが
それぞれ せきにんの ぶんを ひとつずつ うけとりました。
ある かさは まちがいに おおきく きよし、
ある かさは ほとんど せきにんが ありません。
ふしぎなのは、しゅつりょくの まちがい ひとつだけで
おくの ふかい かさの ぶんまで
ぜんぶ けいさんされた こと。
ドミノを ぎゃくに たどった おかげです。

ぶんだけ かさを なおす

せきにんが わかったので なおす ばんです。
まえの こうで まなんだ けいしゃこうかを おもいだして。
そんしつが へる ほうこうへ
すこしずつ おりていく あの ほうほうです。
かくの かさを その ぶんだけ そっと ちょうせいします。
せきにんの おおきい かさは おおく、
せきにんの ちいさい かさは すこしだけ かえます。
いちどに ぐっと なおさず
すこしずつ なおすのが たいせつです。

ちょうせい ボタンを おして かくの かさを ぶんだけ ひとあしずつ なおして。おす たびに そんしつの ぼうが へり、また まえへ よそくすると せいかいに ちかづきます。

ちょうせいするほど そんしつが へりましたね。
でも いちど なおしたら おわり では ありません。
また まえへ よそくし、
また まちがいを はかり、
また ぎゃくに たどって ぶんを もとめ、
また その ぶんだけ ちょうせいします。
この ひとまわりを なんども くりかえすと
あみの よそくが だんだん せいかいに ちかづきます。
こうして あみは じぶんで よく なります。

まとめて みましょう

ひとことに まとめると こうです。
まず しんごうを まえへ ながして よそくを だす。
せいかいと くらべて まちがいを そんしつで はかる。
その そんしつを しゅつりょくから にゅうりょくの ほうへ
ぎゃくに ながし、かくの かさの ぶんを もとめる。
そして ぶんだけ けいしゃこうかで ちょうせいする。
この まえへ よそく、ぎゃくに たどる、ちょうせいを
なんども くりかえすと よそくが せいかいに ちかづく。
ドミノを ぎゃくに たどって はんにんを さがすのです。

かなめを じゅんに おして ふりかえって。(まえへ よそく -> まちがいを そんしつで はかる -> ぎゃくに たどって ぶんを もとめる -> ぶんだけ ちょうせい)

これで ニューラルネットが どう まちがいを なおすのか わかりました。
まえへ ながして こたえを だし、
まちがえたら その まちがいを ぎゃくに たどって
だれの せきにんか みわけ、
その ぶんだけ かさを すこしずつ なおします。
この ぎゃくに たどる たんじゅんな アイデアの おかげで
かさを かぞえきれないほど もつ おおきな あみも
じぶんで まなべるように なりました。
いまの かしこい きかいが がくしゅうする ひけつが まさに これです。