seegongsik
概率统计

大数定律

抽样越多,平均越向期望值收敛(大数定律)。蒙特卡罗正是用随机样本估计面积或积分,误差按 n 的平方根倒数减小。

硬币只扔几次,正面的比例起起伏伏,扔得非常多,就沉到 0.5 附近。标本收集得越多,样本平均就越聚到真正的期望 E[X],这个性质就是大数定律。把这条定律倒过来用,难以直接计算的值就可以用随机样本来估计,那就是蒙特卡罗方法。误差以 1/√n 的速度变小,种子不同,极限也相同。抽得越多,平均就越回到本位。

把硬币的正面数成 1、反面数成 0,期望就是 E[X] = 0.5。骰子的话,点数的平均是 E[X] = 3.5。把投掷次数加大,到那时为止的累计平均就被画出来。开头几次晃得很厉害,次数一大,曲线就贴到虚线标出的期望上。用的是同一个种子,所以什么时候打开,路径都一样。晃动渐渐平息。

往正方形 [0,1]×[0,1] 里胡乱扔飞镖。落在原点为心、半径为 1 的四分之一圆里的飞镖比例,收敛到 π/4。所以把落在里面的比例乘上 4,就得到圆周率的估计。把飞镖个数加大,点就变密,估计值就收向 3.14159。用随机样本量面积,这个做法是蒙特卡罗积分的种子。点在量面积。

抽得更多确实会变好,可是变好有多快。把估计误差对次数画出来,误差大约以 1/√n 的速度减小。要把误差减半,样本就得加到四倍。把辅助线在 1/√n 和 1/n 之间切换,实际的误差跟的是慢的 1/√n,不是快的 1/n。精度很贵,这件事在这里显出来。慢的那一侧才是实际的速度。

再走一步,收敛的不只是一个平均。样本的整张直方图都朝总体的概率密度曲线靠近。个数小的时候柱子高低不平,个数加大,柱子的轮廓就叠到光滑的密度曲线上。钟形和均匀的形状换着来核对。这就是用直方图读分布形状的根据。柱子渐渐像上曲线。

明明是随机的,为什么总是同一张图。我们的随机数是由一个种子定下的决定性数列,同一个种子就重做出同一条路径。换一个种子,开头的晃动各不相同,可是所有路径最终都聚到同一个期望 0.5。随机性让路径不同,大数定律让目的地相同。所以实验可以再现,同时又给出普遍的结论。路不同,尽头相同。

实际应用大数定律是一个约定,样本越多,样本平均就越聚到期望 E[X]。倒过来用,就像用飞镖量圆周率那样,用随机样本估计一个值,就成为蒙特卡罗,精度是用误差只按 1/√n 变小的慢速度来付的。不只是平均,整张直方图都收敛到密度曲线,种子不同极限也相同,所以实验可以再现,同时又是普遍的。多抽,就是守住这个约定。
← 概率统计
如果有帮助,请支持我们