跳到主要内容

多层感知机

线性模型实际上并不能解决非常复杂的问题,因为它单调,它的特性是任何特征的增大都会导致模型输出的增大。此时我们就要引入非线性的讨论场景。

很经典的情形是当我们需要处理边际递减效应时。可能刚开始很乐观的投资,后续可能会因为市场疲劳进入一个低效的状态。这就是很典型的非线性问题。诚然我们可以通过一些工程上的小巧思,比如说最纯朴的分类讨论思想,做一个分段线性的模型。

但是这样的模型还是不够聪明,那么有没有什么聪明的手段?有的,那就是引入隐藏层。

1. 隐藏层​

我们首先来简单说下多层感知机是怎么回事儿。

看上图,我们模拟一个简单的感知机模型,它由三层组成。第一层是输入层,第二层是隐藏层,第三层是输出层。输入层不做任何运算,直接将输入特征传递给隐藏层。

我们可以把前两层全看做表示,把最后一层看作一个线性预测器。这个多层感知机有4个输入,3个输出,其隐藏层包含5个隐藏单元。两个层间都是全连接的,每个输入都会影响隐藏层的一个单元,每个隐藏单元也会影响输出层的一个单元。

隐藏层是多层感知机的核心部分,它由多个神经元组成,每个神经元都有自己的权重和偏置项。

但是如果多层感知机都做全连接,那处理复杂任务,这个计算量真的是不知道算到猴年马月。

这个新的问题该怎么解决?

2. 从线性到非线性​

同之前的章节一样,我们通过矩阵 X∈Rn×d\mathbf{X} \in \mathbb{R}^{n \times d} 来表示 nn 个样本的小批量,其中每个样本具有 dd 个输入特征。对于具有 hh 个隐藏单元的单隐藏层多层感知机,用 H∈Rn×h\mathbf{H} \in \mathbb{R}^{n \times h} 表示隐藏层的输出,称为隐藏表示(hidden representations)。在数学或代码中,H\mathbf{H} 也被称为隐藏层变量(hidden-layer variable)或隐藏变量(hidden variable)。

因为隐藏层和输出层都是全连接的,所以我们有:

  • 隐藏层权重 W(1)∈Rd×h\mathbf{W}^{(1)} \in \mathbb{R}^{d \times h} 和隐藏层偏置 b(1)∈R1×h\mathbf{b}^{(1)} \in \mathbb{R}^{1 \times h}
  • 输出层权重 W(2)∈Rh×q\mathbf{W}^{(2)} \in \mathbb{R}^{h \times q} 和输出层偏置 b(2)∈R1×q\mathbf{b}^{(2)} \in \mathbb{R}^{1 \times q}

形式上,我们按如下方式计算单隐藏层多层感知机的输出 O∈Rn×q\mathbf{O} \in \mathbb{R}^{n \times q}:

H=XW(1)+b(1),O=HW(2)+b(2).(4.1.1)\begin{aligned} \mathbf{H} &= \mathbf{X}\mathbf{W}^{(1)} + \mathbf{b}^{(1)}, \\ \mathbf{O} &= \mathbf{H}\mathbf{W}^{(2)} + \mathbf{b}^{(2)}. \end{aligned} \tag{4.1.1}

注意在添加隐藏层之后,模型现在需要跟踪和更新额外的参数。可我们能从中得到什么好处呢?在上面定义的模型里,我们没有好处!原因很简单:上面的隐藏单元由输入的仿射函数给出,而输出(softmax 操作前)只是隐藏单元的仿射函数。仿射函数的仿射函数本身就是仿射函数,但是我们之前的线性模型已经能够表示任何仿射函数。

我们可以证明这一等价性,即对于任意权重值,我们只需合并隐藏层,便可产生具有参数 W=W(1)W(2)\mathbf{W} = \mathbf{W}^{(1)}\mathbf{W}^{(2)} 和 b=b(1)W(2)+b(2)\mathbf{b} = \mathbf{b}^{(1)}\mathbf{W}^{(2)} + \mathbf{b}^{(2)} 的等价单层模型:

O=(XW(1)+b(1))W(2)+b(2)=XW(1)W(2)+b(1)W(2)+b(2)=XW+b.(4.1.2)\mathbf{O} = (\mathbf{X}\mathbf{W}^{(1)} + \mathbf{b}^{(1)})\mathbf{W}^{(2)} + \mathbf{b}^{(2)} = \mathbf{X}\mathbf{W}^{(1)}\mathbf{W}^{(2)} + \mathbf{b}^{(1)}\mathbf{W}^{(2)} + \mathbf{b}^{(2)} = \mathbf{X}\mathbf{W} + \mathbf{b}. \tag{4.1.2}

为了发挥多层架构的潜力,我们还需要一个额外的关键要素:在仿射变换之后对每个隐藏单元应用非线性的激活函数(activation function)σ\sigma。激活函数的输出(例如 σ(⋅)\sigma(\cdot))被称为活性值(activations)。一般来说,有了激活函数,就不可能再将我们的多层感知机退化成线性模型:

H=σ(XW(1)+b(1)),O=HW(2)+b(2).(4.1.3)\begin{aligned} \mathbf{H} &= \sigma(\mathbf{X}\mathbf{W}^{(1)} + \mathbf{b}^{(1)}), \\ \mathbf{O} &= \mathbf{H}\mathbf{W}^{(2)} + \mathbf{b}^{(2)}. \end{aligned} \tag{4.1.3}

由于 X\mathbf{X} 中的每一行对应于小批量中的一个样本,出于记号习惯的考量,我们定义非线性函数 σ\sigma 也以按行的方式作用于其输入,即一次计算一个样本。我们在 3.4.5 节中以相同的方式使用了 softmax 符号来表示按行操作。但是本节应用于隐藏层的激活函数通常不仅按行操作,也按元素操作。这意味着在计算每一层的线性部分之后,我们可以计算每个活性值,而不需要查看其他隐藏单元所取的值。对于大多数激活函数都是这样。

为了构建更通用的多层感知机,我们可以继续堆叠这样的隐藏层,例如 H(1)=σ1(XW(1)+b(1))\mathbf{H}^{(1)} = \sigma_1(\mathbf{X}\mathbf{W}^{(1)} + \mathbf{b}^{(1)}) 和 H(2)=σ2(H(1)W(2)+b(2))\mathbf{H}^{(2)} = \sigma_2(\mathbf{H}^{(1)}\mathbf{W}^{(2)} + \mathbf{b}^{(2)}),一层叠一层,从而产生更有表达能力的模型。

本文字数:0 字

预计阅读时间:0 分钟


统计信息加载中...

有问题?请向我提出issue