怎么工作 AI 为什么需要统计
假设有一百个考试分数,或者一千条身高记录。一个个地看,脑子都要晕了。可要是只用两个数就能勾勒出整体的样子呢?只要知道中间大概在哪儿、数值散得有多开,数据长什么样就一目了然。这就是统计的眼睛,也是 AI 读数据时最先用的眼睛。
中间在哪儿?平均数
上一课说过,机器会从例子里找模式。要做到这一点,先得会读数据长什么样。把数据当成数轴上的点画出来,点越多,越难一眼看清。
所以首先要问:这些点大体在哪一带?求中间最常用的办法,是把所有值加起来再除以个数,这就是平均数。要是给每个点挂上同样重的砝码,数轴恰好保持水平平衡的那个位置,就是平均数。
一个个点候选点,把它们加进群里。每加一个点,平均数的标记就移到新的平衡点。
每加一个点,平均数的标记就跟着平衡点移动。点往右边挤,平均数也被往右拉。所以,平均数很能说明数据大体在哪儿。
可只看平均数会漏掉一些东西。中间一样,点排开的样子也可能完全不同。
散得多开?离散程度
这里有两群点,平均数一模一样。可一群紧紧挤在中间,另一群散得很开。平均数一样,能说是同样的数据吗?
不能。挤在一起的那群,数值都差不多;散得很开的那群,数值参差不齐。像这样,数值离中间铺开得有多远,叫离散程度。
轮流点两群来比较。平均数一样,离散条的长短却不同。
平均数一模一样,离散程度却一眼就看出不同。图里的离散条表示从平均数到最远那个点的距离:挤在一起的那群条短,散开的那群条长。实际的统计里,最常用的是标准差,它衡量所有点平均离平均数有多远。
所以,平均数和离散程度是一对。中间在哪儿,周围散得多开,两样一起看,才能把数据看清楚。
跑得远远的一个点:离群值
点都聚在一处,平均数也在它们正中间。可要是从远处来了一个孤零零的点,会怎样?像这样远离其他点的值,叫离群值。
平均数是把所有值加起来再除,所以远处的一个点也会原原本本地算进去。一个点就能把中间挪出老远。
点一下,把远处的点放进群里。就因为这一个点,平均数的标记被一下子拽了过去。
只进来了一个点,平均数就从三十左右被拽到了将近四十,其余的点明明都没动。所以只看平均数,可能会被骗。
这时可以用另一种中间:中位数。把数值按大小排好,正中间的那个值就是中位数;就算进来一个跑偏的点,它也几乎不动。平均数和中位数差得很多,就可以看作某处有离群值的信号。
用两个数概括大量数据
现在点非常多,一个个看是不可能的。可我们已经学了两个数:说明中间的平均数,和说明散开程度的离散程度。
有这两个数,不管是一百个点还是一千个点,都能把整体简短地概括出来:中间大概在这儿,散开大概这么多。把很多东西压成几个数的这门本事,正是 AI 处理数据的起点。
点压缩按钮看看。许多点缩成了平均数和离散程度,只有两个数。
无数的点缩成了两个数。当然,压缩也会丢掉一些东西:每个点的具体位置没了。即便如此,聚在哪儿、散得多开这种大致的性格还在。
这两个数在机器学习里也常用。比如身高和体重,单位和大小都不同,就各自减去自己的平均数、再除以离散程度,调到相近的刻度后再拿去训练。这样调过之后,就不会因为某个值的数字大,就把它看得过分重要。
小结
归纳起来是这样:大量数据用几个数来概括。平均数是所有值加起来除以个数得到的中间,离散程度说明数值离中间散得多开。平均数一样,离散程度不同,就是完全不同的数据。
跑得远的离群值会晃动平均数,所以要把中位数和离散程度一起看着判断。中间和散开一起读,这就是统计的眼睛。
依次点要点回顾一下。(平均数是中间值 → 离散程度是散开的程度 → 平均数一样但离散不同就是不同数据 → 离群值会晃动平均数)
现在,你有了用数字读数据的第一只眼睛。乱糟糟的一群点,变成了中间和散开两个清清楚楚的数。
不过,平均数和离散程度只是概括已经发生的事。下一步会发生什么,没法确定。怎样用数字处理这种不确定,下一课讲概率时会说明。