いい ざいりょうが いい AI、データ

ごみを いれると ごみが でる

きかいは わたしたちが あげた れいだけ みて まなびます。
だから れいが まちがっていると
その まちがいまで そのまま まねて まなびます。
ねこの しゃしんに いぬと ラベルを つけると
きかいは ねこを いぬだと いいはるように なります。
また かたよった れいだけ あげると
せかいが そう かたよっていると しんじます。
ひとが みても でたらめな しりょうでは
どんなに いい きかいでも でたらめだけ まなびます。

まちがった れいを ひとつずつ いれてみて。ラベルが いれかわった しりょうが はいるほど きかいの はんだんが だんだん おかしく なります。

まちがった れいが たまるほど
きかいの こたえが めちゃくちゃに なりましたね。
きかいは ただしさを じぶんでは わからず
わたしたちが あげた しりょうを ただ しんじます。
だから ラベルが まちがった、かたよった しりょうは
そのまま わるい くせに なって しまいます。
いいかえると、しりょうを なおすだけで
おなじ きかいが ずっと かしこく なれる ということです。

いい ざいりょうを あげると きちんと まなぶ

では いい ざいりょうとは どんな ものでしょう?
ひとつめ、ラベルが せいかくで なければ なりません。
ねこは ねこ、いぬは いぬと。
ふたつめ、かたよっては いけません。
ねこの しゃしんばかり たくさん、いぬは すうまいだけだと
きかいは いぬを ほとんど みわけられません。
りょうほうを まんべんなく みせると バランスよく まなびます。
みっつめ、おなじ ものを にごす ざつおんが すくない こと。
ぼやけた、へんに まざった しりょうは のぞくのが いい。

ボタンを おして でたらめな しりょうを きれいで バランスの とれた しりょうに かえてみて。ざいりょうが よく なった とたん きかいの せいかくさが あがります。

きかいに てを つけて いないのに
せいかくさが ぐっと あがりましたね。
かわったのは ざいりょうだけ。
ラベルを なおして りょうほうを まんべんなく みたすと
おなじ きかいが きちんと まなびました。
だから げんばでは モデルを いじる まえに
まず データを きれいに する ことに ちからを いれます。
いい ざいりょうは いい けっかの はんぶんです。

もんだいに あう とくちょうを えらぶ

データが きれいでも もう ひとつ のこっています。
なにを みて はんだんさせるか きめる ことです。
こうして えらんで あげる てがかりを とくちょうと いいます。
いえの ねだんを あてる もんだいを かんがえてみて。
いえの ひろさや ばしょは ねだんと ふかく からんでいます。
ひろくて いい まちなら ねだんが あがりますね。
でも もんの いろは どうでしょう?
ねだんと ほとんど かんけいが ありません。
こんな むかんけいな とくちょうは むしろ はんだんを にごします。

いえの ねだん よそくに つかう とくちょうを えらんでみて。ひろさと ばしょを いれると せいかくさが あがり、もんの いろのような むかんけいな ものを いれると かえって さがります。

あう とくちょうを えらぶたびに せいかくさが あがりましたね。
ぎゃくに むかんけいな いろを いれると さがりました。
とくちょうが おおければ いい わけでは ありません。
もんだいと ほんとうに かんけいする てがかりを えらぶ こと。
あう とくちょうは こたえへの ちかみち、
へんな とくちょうは みちを まよわせる ざつおんです。
どの てがかりを みせるか よく えらぶ こと、
これも いい データを つくる だいじな しごとです。

いい データは おおいほど いい

ざいりょうが きれいで とくちょうも あうなら、
こんどは りょうが だいじに なります。
れいが いくつか だけだと
たまたま はいった ひとつ ふたつの めずらしい ばあいに
きかいが ふりまわされやすい。
れいが とても ふえると
そんな ぐうぜんは へいきんに うもれて よわまり、
よく あらわれる ほんとうの パターンが はっきり します。
だから きれいな データは おおいほど たのもしい。

データの りょうを ふやす ボタンを おしてみて。てんが ふえるほど ぐうぜんの ゆれが おさまり、きょうかいが あんていして せいかくさが あがります。

データを ふやすほど
きょうかいが あんていして せいかくさが あがりましたね。
すくない ときは てん ひとつでも ぐらつきましたが
ふえると ゆれが おさまりました。
もちろん りょうを ふやすだけが こたえでは ありません。
ごみを どんなに たくさん あつめても ごみです。
きれいで かたよらない データの ときに
はじめて おおいほど いいと いえます。
しつが さきで、つぎが りょうです。

まとめて みましょう

ひとことに まとめると こうです。
きかいは わたしたちが あげた データの ぶんだけ まなびます。
ごみを いれると ごみが でて、
きれいで バランスの とれた ざいりょうを あげると きちんと まなぶ。
もんだいに あう とくちょうを えらぶ ひつようが あり、
むかんけいな てがかりは むしろ じゃまに なります。
いい データは おおいほど たのもしいですが、
しつが さきで りょうは つぎ。
いい ざいりょうが いい AI を つくります。

かなめを じゅんに おして ふりかえって。(ごみを いれると ごみ -> きれいな ざいりょうで きちんと -> あう とくちょうを えらぶ -> いい データは おおいほど)

これで なぜ データが それほど だいじか わかりました。
ひとは よく かしこい モデルを おもいうかべますが、
じっさい けっかを わけるのは ざいりょうの ことが おおい。
きれいに あらい、かたよらず あつめ、
もんだいに あう とくちょうを えらび、たっぷり あげる こと。
この ふつうに みえる しごとが いい AI の どだいです。
つぎは こう じゅんびした データで
きかいが どれだけ よく まなんだか
どう みつもるか つづけて みていきましょう。