神经网络 怎么工作

把神经元一层层连起来

一个神经元把输入按权重汇总相加，再根据总和发出信号。它简单，判断也就简单，顶多用一条线把东西分开。
可要是把一个神经元的输出接到另一个神经元的输入上，情况就不一样了。神经元互相传递信号，一起拼出单个神经元看不到的更大的图景。

一个个点神经元，把它们点亮。亮着的神经元之间连上信号线，简单的神经元就组成了网。

每个神经元依然很简单，变了的是它们连在了一起。一个神经元的输出成了下一个神经元的输入，于是单个看不到的东西，许多个一起就开始看到了。
不过，与其乱连，不如排成行来连，计算会清爽得多。这样的行叫作层。

输入层、隐藏层、输出层

把神经元排成行，就成了层。最前面的层接收从外面进来的值，叫输入层；最后面的层给出最终答案，叫输出层。中间的层从外面直接看不到，所以叫隐藏层。
通常，一层里的每个神经元都和前一层的所有神经元相连。信号从输入层出发，依次穿过各层，只往前流，一直流到输出层。

点按钮，让信号一层层往前走。从输入层经过隐藏层，到输出层，依次亮起来。

信号只往前流。每一层接收前一层的输出，再算一遍，交给下一层。如果是认照片的神经网络，前面的层看线条、边角这样的小碎片，后面的层把这些碎片拼起来，认出眼睛、耳朵这样更大的形状。
层越深，抓住的特征就越抽象。用隐藏层很多的深层神经网络来学习，叫深度学习。不过，叠层的时候，有一样东西绝不能漏掉。

中间要有弯曲的步骤

好像只要把层叠起来就行，其实有个陷阱。每一层要是只做乘法和加法，那就是笔直的线性变换。笔直的变换接多少个，结果还是一个笔直的变换，所以叠一百层，也跟一层没两样。
所以，层和层之间一定要加上让信号弯曲的步骤。上一课看到的激活函数，正是这个步骤。现在常用的是一种简单的函数：进来负数就变成零，正数原样放出去。

把弯曲步骤开开关关，比较一下。关掉，叠多少层也会并成一条直线；打开，弯曲的线留下来，形状就丰富了。

差别一目了然。关掉弯曲步骤，层叠得再多，最后还是一条直线，能做的事跟一层一样。打开弯曲步骤，每一层信号都弯一点，就出现了直线画不出的形状。
正因为有这个弯曲步骤，叠层才有了意义。

层越多，模式越复杂

把带弯曲步骤的层加多一点看看。只有一层，顶多用一条直线把世界分成两半。多加些层和神经元，弯曲的线凑在一起，就能画出折来拐去、弯弯曲曲的边界。
再往上叠，就能学会圆圈、蜿蜒的边界这样越来越复杂的模式。人们已经知道，只要神经元足够多，神经网络几乎能模仿任何形状的边界。这就是神经网络强大的原因。

点加一层。层少，边界是直线；越加越多，边界就越弯，把复杂的点群包起来。

每加一层，边界就更自由一些：从直线开始，变成折线，再变成平滑的曲线。简单的神经元组成层，中间再加上弯曲步骤，就一起学会了单个神经元做梦也想不到的模式。
当然也有代价：层和神经元越多，要调整的权重就越多，训练需要的数据和计算也越多。

小结

归纳起来是这样：把简单的神经元一层层叠起来连好，信号从输入层流向输出层。每一层接收前一层的输出，抓出更大的特征。
层和层之间一定要有弯曲的步骤，不然一切都会并成一条直线。叠起层来、中间加弯曲，学会复杂的模式，这就是神经网络。

依次点要点回顾一下。（把神经元层层叠起 → 信号往前流 → 中间需要弯曲步骤 → 层越多模式越复杂）

现在你知道了简单的神经元是怎样聚在一起学会复杂模式的。原来只会画一条直线的神经元，组成层、中间加上弯曲，连曲线边界也学会了。
可层一多，就冒出一个问题：输出错了的时候，责任在无数权重中的哪里、有多大，怎么知道？怎样从输出往回倒推、把错误分摊下去，下一课讲反向传播时会说明。