大数の法則 わかりやすく
コインを数回だけ投げると表の割合はでこぼこしますが、非常に多く投げると 0.5 の近くへぴったり沈みます。標本を多く集めるほど標本平均が真の期待値 E[X] へ集まるこの性質が、大数の法則です。この法則を逆に使うと、直接計算しにくい値を無作為の標本で推定でき、それがモンテカルロ法です。誤差は 1/√n の速さで小さくなり、種が違っても極限は同じです。多く引くほど平均が定位置へ戻ります。
コイン投げの表を 1、裏を 0 と数えると期待値は E[X] = 0.5 で、さいころなら目の平均は E[X] = 3.5 です。投げた回数を増やすと、そこまでの累積平均が描かれます。初めの数回は大きく揺れますが、回数が増えるほど曲線は点線で示した期待値にぴったり付きます。同じ種を使うので、いつ開いても同じ経路が出ます。揺れが収まっていきます。
正方形 [0,1]×[0,1] にダーツをでたらめに投げます。原点中心、半径 1 の四分円の中に落ちたダーツの割合は、その面積 π/4 へ収束します。だから中に入った割合に 4 を掛けると、円周率の推定値が出ます。ダーツの数を増やすと点が密になり、推定値が 3.14159 へ狭まります。無作為の標本で面積を測るこの仕方が、モンテカルロ積分の種です。点が面積を測ります。
多く引けば良くはなりますが、どれほど速く良くなるのでしょうか。推定誤差を回数に対して描くと、誤差はおよそ 1/√n の速さで減ります。誤差を半分にするには標本を四倍に増やさなければならない、という意味です。補助線を 1/√n と 1/n に切り替えると、実際の誤差は速い 1/n ではなく遅い 1/√n に従います。精度が高いという事実がここに現れます。遅い側が実際の速さです。
もう一歩進むと、収束するのは平均一つだけではありません。標本のヒストグラム全体が、母集団の確率密度曲線へ近づきます。数が小さいと棒はでこぼこですが、数を増やすと棒の輪郭が滑らかな密度曲線の上に重なります。釣鐘の形と平らな形を切り替えながら確かめられます。これが、ヒストグラムで分布の形を読む根拠です。棒が曲線に似ていきます。
無作為なのに、どうしていつも同じ図が出るのでしょうか。私たちの乱数は種一つで決まる決定的な数列なので、同じ種は同じ経路を作り直します。種を変えると序盤の揺れはそれぞれ違いますが、すべての経路が結局同じ期待値 0.5 へ集まります。無作為性は経路を違え、大数の法則は目的地を同じにします。だから実験は再現でき、しかも普遍的な結論を与えます。道は違っても終わりは同じです。