模仿大脑的一格,神经元
假设好几个开关都汇到一个灯泡。有的开关推得猛,有的只推一点。把所有的推力加起来,够亮灯就亮,不够就灭着。人工神经元正是这样。它给每个输入乘上一个强度(权重),加起来,和超过门槛就点亮。
把输入乘上权重再加
在逻辑门里我们见过
接收输入、给出一个答案。
人工神经元也类似,
接收好几个输入,做出一个值。
只是它不直接把输入相加。
它给每个输入定一个强度,
乘上那个强度,再相加。
这个强度叫做权重。
重要的输入给大权重,
不太重要的给小权重。
把输入开开关关。只有开着的输入才乘上权重加进总和。
每次你打开一个输入,
总和就涨了那个输入的权重那么多。
大权重的输入把总和推得多,
小权重的只推一点点。
所以总和不是输入本身,
而是把输入和权重一起看的结果。
不过这个样子,是不是有点眼熟?
给输入乘上某个数再相加的样子。
权重就是回归的斜率
想想回归里把直线画成 ax+b。
给输入 x 乘上斜率 a,再加 b。
斜率 a 越大,
同样的 x,结果变得越多。
神经元的权重正是这个斜率。
给输入乘权重,
就跟乘斜率一模一样。
所以你把权重调大,
那个输入对结果的影响就更猛。
权重调小,影响就变弱。
点一下把权重调大调小。它像斜率一样乘到输入上,输出跟着变。
一动权重,输出就跟着来了。
改斜率会让直线倾斜,
改权重就让神经元的反应变化。
所以要让神经元猜得准,
说到底,定好权重才是关键。
那么算出和之后,
神经元会做什么呢?
它不是把和原样送出去,
而是再做一个决定。
超过门槛就点亮
神经元算出和之后,
拿它跟一条基准线比。
这条基准线叫做门槛。
和超过门槛,神经元就点亮。
点亮就是给出了 1 这个答案。
和够不着门槛,神经元就灭着。
灭着就是 0 这个答案。
灯泡要够亮才亮,
和要够大神经元才点亮。
所以神经元做出一个亮还是灭的决定。
点一下把和升高降低。越过门槛线神经元就点亮(1),过不去就灭(0)。
和一越过门槛,神经元啪地点亮了。
亮还是灭,答案落到两者之一。
就这样神经元接收输入,
自己决定要不要点亮。
但它一开始猜不准。
权重糙时,该亮却灭,
该灭却亮,这种事会发生。
这就错了。
错的时候,神经元怎么变好呢?
错了就把权重改一点
前面我们学过梯度下降,
看错的程度,
一点一点定方向往下走的那个办法。
神经元也照样做。
该亮却灭了,
就把权重调大一点,让和变大。
该灭却亮了,
就把权重调小一点,让和变小。
不一下子猛改,
只按错的程度一步一步挪。
这样反复多次,就越猜越准。
看着错的答案点一下调整。权重朝正确答案一步步挪,渐渐就对了。
越改,错得越少。
只要方向对,哪怕一步一步,
最后也会靠近正确答案。
这就是神经元学习的过程。
不是人一个个去定权重,
而是它看着错误,自己调权重。
用大量例子反复这样调,
神经元就能做出相当聪明的判断。
现在来把整件事理一理。
来理一理
归成一句话,是这样。
神经元给每个输入乘上权重再加。
这跟回归的 ax+b 是同一个样子,
斜率 a 就是权重。
加出来的和超过门槛就点亮(1),
过不去就灭(0)。
错了就像梯度下降,
按错的程度把权重一点点改。
反复这样,就越猜越准。
乘了再加,用门槛点亮,错了就调整。这就是神经元。
依次点要点回顾一下。(输入x权重之和 -> 权重=斜率 -> 超过门槛就点亮 -> 错了就调整)
现在你认识了一个小计算器,
它模仿大脑的一格。
乘了再加、亮和灭、错了就改,
这个简单的格子就是学习的起点。
光一个这样的格子已经判断得不错,
但把许多这样的格子连起来,
就能学会复杂得多的东西。
下回这些格子怎么聚到一起,
构成更大的智能呢?
咱们接着一起看下去。