多层感知机
线性模型实际上并不能解决非常复杂的问题,因为它单调,它的特性是任何特征的增大都会导致模型输出的增大。此时我们就要引入非线性的讨论场景。
很经典的情形是当我们需要处理边际递减效应时。可能刚开始很乐观的投资,后续可能会因为市场疲劳进入一个低效的状态。这就是很典型的非线性问题。诚然我们可以通过一些工程上的小巧思,比如说最纯朴的分类讨论思想,做一个分段线性的模型。
但是这样的模型还是不够聪明,那么有没有什么聪明的手段?有的,那就是引入隐藏层。
1. 隐藏层
我们首先来简单说下多层感知机是怎么回事儿。
看上图,我们模拟一个简单的感知机模型,它由三层组成。第一层是输入层,第二层是隐藏层,第三层是输出层。输入层不做任何运算,直接将输入特征传递给隐藏层。
我们可以把前两层全看做表示,把最后一层看作一个线性预测器。这个多层感知机有4个输入,3个输出,其隐藏层包含5个隐藏单元。两个层间都是全连接的,每个输入都会影响隐藏层的一个单元,每个隐藏单元也会影响输出层的一个单元。
隐藏层是多层感知机的核心部分,它由多个神经元组成,每个神经元都有自己的权重和偏置项。
但是如果多层感知机都做全连接,那处理复杂任务,这个计算量真的是不知道算到猴年马月。
这个新的问题该怎么解决?