わかりやすく AI 統計 なぜ

まんなかはどのあたり？ 平均

前のレッスンで、機械は例からパターンを見つけるといいました。そのためには、まずデータがどんな形をしているかを読めなければなりません。データを数直線の上の点として打ってみると、点が多いほど、ひと目では分からなくなります。
そこで最初に問うのは、これらの点がだいたいどのあたりにあるかです。まんなかを求めるいちばんよくある方法は、すべての値を足して個数で割る平均です。点ごとに同じ重さのおもりをつけたとき、数直線が水平につり合う場所が平均です。

点の候補を一つずつ押して、グループに足してみましょう。点が増えるたびに、平均のしるしが新しいつり合いの点へ移ります。

点を足すたびに、平均のしるしがつり合いの点を追って動きました。右に点が集まると、平均も右に引っぱられます。だから平均は、データがだいたいどこにあるかをよく教えてくれます。
でも、平均一つだけでは見落とすものがあります。まんなかが同じでも、点の並び方はいくらでもちがうことがあるからです。

どれくらい散らばっている？ 散らばり

ここに二つのグループがあります。どちらも平均はまったく同じです。でも、一方はまんなかにせまく集まり、もう一方は広く散らばっています。平均が同じだから、同じデータだといえるでしょうか。
そうではありません。せまく集まった方は値がどれも似ていて、広く散らばった方はばらばらです。このように、値がまんなかからどれくらい遠くまで広がっているかを、散らばりと呼びます。

二つのグループを交互に押して、比べてみましょう。平均は同じなのに、散らばりの棒の長さがちがうのが分かります。

平均はまったく同じでしたが、散らばりはひと目でちがいました。この図の散らばりの棒は、平均からいちばん遠い点までのきょりを表していて、せまいグループは棒が短く、広いグループは長くなります。実際の統計では、すべての点が平均から平均してどれくらい離れているかを測る標準偏差がよく使われます。
だから、平均と散らばりは組です。まんなかがどこかと、そのまわりにどれくらい散らばっているかをいっしょに見て、はじめてデータがきちんと見えてきます。

遠くに飛び出した一点、外れ値

点が一か所に寄り集まっていて、平均もそのまんなかにあります。では、遠く離れた点が一つ入ってきたら、どうなるでしょうか。ほかの点からかけ離れたこのような値を、外れ値と呼びます。
平均はすべての値を足して割るので、遠くにある一点も、そのまま反映されます。点一つで、まんなかが大きく動いてしまうことがあるのです。

遠くに飛び出した点を押して、グループに入れてみましょう。点一つのせいで、平均のしるしがそちらへぐっと引っぱられます。

点が一つ入っただけなのに、平均は三十あたりから四十近くまで引っぱられました。ほかの点はそのままなのに、です。だから、平均だけを見ているとだまされることがあります。
こういうときに使う、もう一つのまんなかが中央値です。値を大きさの順に並べたときにまんなかに来る値で、飛び出した点が一つ入っても、ほとんど動きません。平均と中央値が大きくちがえば、どこかに外れ値があるしるしと読めます。

たくさんのデータを二つの数で

今度は、点がとても多くなりました。一つずつ全部見るのは無理です。でも、私たちは二つの数を学びました。まんなかを表す平均と、散らばりぐあいを表す散らばりです。
この二つがあれば、点が百個でも千個でも、全体を短くまとめられます。まんなかはこのあたり、散らばりはこれくらい、というように。たくさんのものを少しの数にまとめるこの力が、AIがデータをあつかう出発点です。

圧縮ボタンを押してみましょう。たくさんの点が、平均と散らばりというたった二つの数に縮みます。

たくさんの点が、二つの数に縮みました。もちろん、縮めると失うものもあります。点一つ一つのくわしい位置は消えてしまいます。それでも、どこに集まっていて、どれくらい散らばっているかという大きな性格は残ります。
この二つの数は、機械学習でもよく使われます。たとえば身長と体重のように単位も大きさもちがう値を、それぞれの平均を引いて散らばりで割り、似た目盛りにそろえてから学習に使います。こうしてそろえると、数が大きいというだけで、ある値が重く扱われすぎるのを防げます。

まとめ

まとめるとこうです。たくさんのデータは、少しの数で要約します。平均はすべての値を足して個数で割ったまんなかで、散らばりは値がまんなかからどれくらい散らばっているかを表します。平均が同じでも、散らばりがちがえばまったくちがうデータです。
遠くに飛び出した外れ値は平均をゆらすので、中央値と散らばりもいっしょに見て判断します。まんなかと散らばりをいっしょに読むこと、これが統計の目です。

要点を順に押して振り返りましょう。（平均はまんなかの値 → 散らばりは散らばりぐあい → 平均が同じでも散らばりがちがえばちがうデータ → 外れ値は平均をゆらす）

これで、データを数で読む一つめの目が手に入りました。ごちゃごちゃしていた点のむれが、まんなかと散らばりという二つの数ではっきりしました。
でも、平均と散らばりは、すでに起きたことをまとめるだけです。次に何が起きるかは、確かには分かりません。この不確かさを数であつかう方法を、次のレッスン「確率」で扱います。