seegongsik
人工智能

怎么工作 AI 为什么需要统计

假设有一百个考试分数,或者一千条身高记录。一个个地看,脑子都要晕了。可要是只用两个数就能勾勒出整体的样子呢?只要知道中间大概在哪儿、数值散得有多开,数据长什么样就一目了然。这就是统计的眼睛,也是 AI 读数据时最先用的眼睛。

01

中间在哪儿?平均数

上一课说过,机器会从例子里找模式。要做到这一点,先得会读数据长什么样。把数据当成数轴上的点画出来,点越多,越难一眼看清。
所以首先要问:这些点大体在哪一带?求中间最常用的办法,是把所有值加起来再除以个数,这就是平均数。要是给每个点挂上同样重的砝码,数轴恰好保持水平平衡的那个位置,就是平均数。

点的候选(点一下加进去)
数据轴
点一下点,把它加进群里
平均-

一个个点候选点,把它们加进群里。每加一个点,平均数的标记就移到新的平衡点。

每加一个点,平均数的标记就跟着平衡点移动。点往右边挤,平均数也被往右拉。所以,平均数很能说明数据大体在哪儿。
可只看平均数会漏掉一些东西。中间一样,点排开的样子也可能完全不同。

02

散得多开?离散程度

这里有两群点,平均数一模一样。可一群紧紧挤在中间,另一群散得很开。平均数一样,能说是同样的数据吗?
不能。挤在一起的那群,数值都差不多;散得很开的那群,数值参差不齐。像这样,数值离中间铺开得有多远,叫离散程度。

点一下群来选
50
平均(中间)
50
离散(散开的宽度)
6
点紧紧挤在中间。离散条很短
两群的平均一样,可离散不同

轮流点两群来比较。平均数一样,离散条的长短却不同。

平均数一模一样,离散程度却一眼就看出不同。图里的离散条表示从平均数到最远那个点的距离:挤在一起的那群条短,散开的那群条长。实际的统计里,最常用的是标准差,它衡量所有点平均离平均数有多远。
所以,平均数和离散程度是一对。中间在哪儿,周围散得多开,两样一起看,才能把数据看清楚。

03

跑得远远的一个点:离群值

点都聚在一处,平均数也在它们正中间。可要是从远处来了一个孤零零的点,会怎样?像这样远离其他点的值,叫离群值。
平均数是把所有值加起来再除,所以远处的一个点也会原原本本地算进去。一个点就能把中间挪出老远。

30.0
平均30.0
点都聚在一处。平均也在它们中间

点一下,把远处的点放进群里。就因为这一个点,平均数的标记被一下子拽了过去。

只进来了一个点,平均数就从三十左右被拽到了将近四十,其余的点明明都没动。所以只看平均数,可能会被骗。
这时可以用另一种中间:中位数。把数值按大小排好,正中间的那个值就是中位数;就算进来一个跑偏的点,它也几乎不动。平均数和中位数差得很多,就可以看作某处有离群值的信号。

04

用两个数概括大量数据

现在点非常多,一个个看是不可能的。可我们已经学了两个数:说明中间的平均数,和说明散开程度的离散程度。
有这两个数,不管是一百个点还是一千个点,都能把整体简短地概括出来:中间大概在这儿,散开大概这么多。把很多东西压成几个数的这门本事,正是 AI 处理数据的起点。

平均
47
离散
37
有 18 个点呢。一个个看很费劲

点压缩按钮看看。许多点缩成了平均数和离散程度,只有两个数。

无数的点缩成了两个数。当然,压缩也会丢掉一些东西:每个点的具体位置没了。即便如此,聚在哪儿、散得多开这种大致的性格还在。
这两个数在机器学习里也常用。比如身高和体重,单位和大小都不同,就各自减去自己的平均数、再除以离散程度,调到相近的刻度后再拿去训练。这样调过之后,就不会因为某个值的数字大,就把它看得过分重要。

05

小结

归纳起来是这样:大量数据用几个数来概括。平均数是所有值加起来除以个数得到的中间,离散程度说明数值离中间散得多开。平均数一样,离散程度不同,就是完全不同的数据。
跑得远的离群值会晃动平均数,所以要把中位数和离散程度一起看着判断。中间和散开一起读,这就是统计的眼睛。

依次点要点回顾一下

依次点要点回顾一下。(平均数是中间值 → 离散程度是散开的程度 → 平均数一样但离散不同就是不同数据 → 离群值会晃动平均数)

现在,你有了用数字读数据的第一只眼睛。乱糟糟的一群点,变成了中间和散开两个清清楚楚的数。
不过,平均数和离散程度只是概括已经发生的事。下一步会发生什么,没法确定。怎样用数字处理这种不确定,下一课讲概率时会说明。

一句话总结统计是把大量数据概括成几个数的眼睛。第一个是平均数:把所有值加起来再除以个数得到的中间,告诉你数据大体在哪儿。第二个是离散程度,说明数值离中间散得多远,实际中最常用标准差。平均数一样而离散程度不同,就是完全不同的数据,所以两样总要一起看。跑得远的离群值很容易把平均数拉走,所以最好也看看中位数,也就是按大小排好后正中间的值。在机器学习里,还会用平均数和离散程度把数值调到相同的刻度再拿去训练。用中间和散开两个数一眼读懂数据,这就是统计的起点。
← 人工智能
如果有帮助,请支持我们