Coursera机器学习笔记 第4周 八、神经网络：表述（一）

八、神经网络：表述 (Neural Networks: Representation)

8.1 非线性假设（Non-linear hypotheses）

参考视频：8 - 1 - Non-linear Hypotheses (10 min).mkv

前面我们学习了逻辑回归，它们可以很好的解决一些线性的分类问题。但是对于非线性问题，它们很难画出分类边界线。如下图。

如果要实现非线性模型，需要增加模型复杂度（增加特征组合和特征多次项）。但是，当特征太多时，计算的负荷会非常大：假设我们的数据有100个特征，用这100个特征来构建一个非线性的多项式特征模型，特征组合会非常多。即使只采用两两特征的组合，也有将近5000个特征( C2100 $C_{100}^2$)，这对逻辑回归来说需要计算的特征太多了。

再如在图像识别中，一个50×50像素的图片，每个元素当作一个特征的话，拥有的特征量为2500，那么它的二次项数为 C22500 $C_{2500}^2$（大约为3百万个）特征。普通的逻辑回归模型不能有效地处理这么多特征，神经网络可以帮助我们。

8.2 神经元和大脑（Neurons and the brain）

参考视频：8 - 2 - Neurons and the Brain (8 min).mkv

神经网络是一种很古老的算法，它最初产生目制造能模拟最神奇的学习机器——人类的大脑。神经网络不仅在逻辑上行得通，之后我们会看到，而且也能很好地解决不同的机器学习问题。

神经网络逐渐兴起于二十世纪八九年代，应用得非常广泛。但由各种原因在90年代后期应用变少。最近，它又东山再起了。其中一个原因是：神经网络时计算量偏大的算法。然而由于近些年计算机的运行速度变快，才足以真正运行其大规模的神经网络。而且，如今的神经网络对于许多应用来说是最先进的技术。

我们能学习数学，学着做微积分，而且大脑能处理各种不同的令人惊奇的事情。似乎如果你想要模仿它，你得些很多不同的程序来模拟这些五花八门的事情。不过，能不能假设大脑做这些事情的方法仅仅需要一个单一的学习算法？尽管这是一个假设，不过确实有一些这方面的证据：事例略。

神经网络可能为我们打开一扇进入遥远的人工智梦窗户，但在这节课中讲授神经网络的原因主要是对于现代机器学习应用。它是最有效的计数方法，因此在接下来的课程中，我们将开始深入到神经网络的技术细节。

8.3 模型表示1（Model Representation I）

参考视频：8 - 3 - Model Representation I (12 min).mkv

我们思考一下大脑中的神经网络：每一个神经元都包含一个神经核（nucleus），许多突触（dendrite）和一个轴突（axon）。它们分别被看作处理单元、输入单元和输出单元（processing unit、input unit、output unit）。神经网络是大量元相互连接并通过电脉冲来交流的一个网络。 神经元如下图：

神经网络建立在很多神经元上，我们把其中一个个神经元看作是一个个学习模型。这些神经元（也叫激活单元，activation unit）采纳一些特征作为输入，并根据自身的模型提供一个输出，或者说这些神经元具有计算功能。下图是一个以逻辑回归模型作为自身学习模型的神经元示例。在神经网络中，参数又可被称为权重（weights）。

上图中的偏差单元（bias unit） x0 $x_0$固定为1。 x0,x1,x2,x3 $x_0,x_1,x_2,x_3$不进行计算，只向下一层提供数据。右边神经元采取的计算模型为 hθ(x)=11+e−θTx $h_{\theta }(x)=\frac{1}{1+e^{-{\theta }^{T}x}}$，此处和逻辑回归相同。

下图是一个稍微复杂的三层神经网络：

神经网络是许多逻辑单元按照不同层级组织起来的网络，每一层的输出变量都是下一层的输入变量。对上图中的三层神经网络予以说明：

• 第一层（输入层，input layer）： x1,x2,x3 $x_1,x_2,x_3$是输入单元（input unit），增加偏差单元 x0 $x_0$并将其固定为1。输入层不进行计算，唯一功能是向下一层传递数据。
• 第二层或中间层（隐藏层，hidden layer）：中间层负责接收上一层的数据 x0,x1,x2,x3 $x_0,x_1,x_2,x_3$，经过计算后将结果 a1,a2,a3 $a_1,a_2,a_3$（增加偏差单元 a0=1 $a_0=1$）传递给下一层。
• 第三层（输出层，output layer）：接收上一层的数据 a0,a1,a2,a3 $a_0,a_1,a_2,a_3$，用来计算 hθ(x) $h_{\theta }(x)$。
• 神经元发出的箭头代表数据的流向，由一个神经元发出的不同箭头传递的是相同的数据。需要向下一层传递数据的层都需要增加偏差单元。
• 偏差单元不算激活单元，因为它是人为添加的，而且值固定为1。输入层的输入单元算不需要计算的激活单元，只需要向下一层传递数据。
• 神经网络命名：我们把需要计算的层次称之为“计算层”，一般把拥有一个计算层的网络称之为“单层神经网络”。在本文里，我们简单地根据神经网络的层数来命名。

下面引入一些标记法来帮助描述模型：

• a(j)i $a_i^{(j)}$: 第j层的第i个激活单元。
• Θ(j) ${\mathrm{\Theta }}^{(j)}$: 从第j层映射到第j+1层的权重矩阵。权重矩阵的尺寸为：以第j+1层的激活单元数为行数，以第j层的激活单元数加1为列数。例如，上图所示的神经网络中的 θ(1) ${\theta }^{(1)}$的尺寸为3*4。

对于上图所示的模型来说，中间层的激活单元 a1,a2,a3 $a_1,a_2,a_3$和输出 hθ(x) $h_{\theta }(x)$分别表达为：

a(2)1=g(Θ(1)10x0+Θ(1)11x1+Θ(1)12x2+Θ(1)13x3)a(2)2=g(Θ(1)20x0+Θ(1)21x1+Θ(1)22x2+Θ(1)23x3)a(2)3=g(Θ(1)30x0+Θ(1)31x1+Θ(1)32x2+Θ(1)33x3)hΘ(x)=a(3)1=g(Θ(2)10a(2)0+Θ(2)11a(2)1+Θ(2)12a(2)2+Θ(2)13a(2)3) $$\begin{array}{r}{a}_1^{(2)}=g({\mathrm{\Theta }}_{10}^{(1)}{x}_0+{\mathrm{\Theta }}_{11}^{(1)}{x}_1+{\mathrm{\Theta }}_{12}^{(1)}{x}_2+{\mathrm{\Theta }}_{13}^{(1)}{x}_3)\\ a_2^{(2)}=g({\mathrm{\Theta }}_{20}^{(1)}{x}_0+{\mathrm{\Theta }}_{21}^{(1)}{x}_1+{\mathrm{\Theta }}_{22}^{(1)}{x}_2+{\mathrm{\Theta }}_{23}^{(1)}{x}_3)\\ a_3^{(2)}=g({\mathrm{\Theta }}_{30}^{(1)}{x}_0+{\mathrm{\Theta }}_{31}^{(1)}{x}_1+{\mathrm{\Theta }}_{32}^{(1)}{x}_2+{\mathrm{\Theta }}_{33}^{(1)}{x}_3)\\ h_{\mathrm{\Theta }}(x)=a_1^{(3)}=g({\mathrm{\Theta }}_{10}^{(2)}{a}_0^{(2)}+{\mathrm{\Theta }}_{11}^{(2)}{a}_1^{(2)}+{\mathrm{\Theta }}_{12}^{(2)}{a}_2^{(2)}+{\mathrm{\Theta }}_{13}^{(2)}{a}_3^{(2)})\end{array}$$

我们知道每个中间层的激活单元 a $a$都是由上一层的输出决定的，我们把这样从左到右计算的过程称为前向传播算法（Forward Propagation）。

上面的讨论只是将数据集中的一行（一个训练实例）喂给了神经网络，我们需要将整个数据集都喂给神经网络来进行学习。

对于上图来说，我们把数据集X中的第一个实例 x(1) $x^{(1)}$从第一层到第二层的计算过程为： g(Θ(1)⋅x)=a(2) $g({\mathrm{\Theta }}^{(1)}\cdot x)=a^{(2)}$，其中

x=⎡⎣⎢⎢⎢x0x1x2x3⎤⎦⎥⎥⎥Θ(1)=⎡⎣⎢⎢⎢Θ(1)10..Θ(1)11..Θ(1)12..Θ(1)13Θ(1)23Θ(1)33⎤⎦⎥⎥⎥a(2)=⎡⎣⎢⎢⎢a(2)1a(2)2a(2)3⎤⎦⎥⎥⎥ $$x=\left[\begin{array}{c}{x}_0\\ x_1\\ x_2\\ x_3\end{array}\right]{\mathrm{\Theta }}^{(1)}=\left[\begin{array}{cccc}{\mathrm{\Theta }}_{10}^{(1)}& {\mathrm{\Theta }}_{11}^{(1)}& {\mathrm{\Theta }}_{12}^{(1)}& {\mathrm{\Theta }}_{13}^{(1)}\\ .& .& .& {\mathrm{\Theta }}_{23}^{(1)}\\ .& .& .& {\mathrm{\Theta }}_{33}^{(1)}\end{array}\right]a^{(2)}=\left[\begin{array}{c}{a}_1^{(2)}\\ a_2^{(2)}\\ a_3^{(2)}\end{array}\right]$$

8.4 模型表示2（Model Representation II）

参考视频 : 8 - 4 - Model Representation II (12 min).mkv

我们设置变量z为：

• 对于第2层， z(2)k=Θ(1)k,0x0+Θ(1)k,1x1+⋯+Θ(1)k,nxn $z_k^{(2)}={\mathrm{\Theta }}_{k,0}^{(1)}{x}_0+{\mathrm{\Theta }}_{k,1}^{(1)}{x}_1+\cdots +{\mathrm{\Theta }}_{k,n}^{(1)}{x}_n$

所以第2层，

z(2)1=Θ(1)10x0+Θ(1)11x1+Θ(1)12x2+Θ(1)13x3z(2)2=Θ(1)20x0+Θ(1)21x1+Θ(1)22x2+Θ(1)23x3z(2)3=Θ(1)30x0+Θ(1)31x1+Θ(1)32x2+Θ(1)33x3 $$\begin{array}{r}{z}_1^{(2)}={\mathrm{\Theta }}_{10}^{(1)}{x}_0+{\mathrm{\Theta }}_{11}^{(1)}{x}_1+{\mathrm{\Theta }}_{12}^{(1)}{x}_2+{\mathrm{\Theta }}_{13}^{(1)}{x}_3\\ z_2^{(2)}={\mathrm{\Theta }}_{20}^{(1)}{x}_0+{\mathrm{\Theta }}_{21}^{(1)}{x}_1+{\mathrm{\Theta }}_{22}^{(1)}{x}_2+{\mathrm{\Theta }}_{23}^{(1)}{x}_3\\ z_3^{(2)}={\mathrm{\Theta }}_{30}^{(1)}{x}_0+{\mathrm{\Theta }}_{31}^{(1)}{x}_1+{\mathrm{\Theta }}_{32}^{(1)}{x}_2+{\mathrm{\Theta }}_{33}^{(1)}{x}_3\end{array}$$

所以第2层的计算简化为

a(2)1=g(z(2)1)a(2)2=g(z(2)2)a(2)3=g(z(2)3) $$\begin{array}{r}{a}_1^{(2)}=g(z_1^{(2)})\\ a_2^{(2)}=g(z_2^{(2)})\\ a_3^{(2)}=g(z_3^{(2)})\end{array}$$

前文 x $x$和 z(j) $z^{(j)}$的标识如下：

x=⎡⎣⎢⎢⎢x0x1⋯xn⎤⎦⎥⎥⎥z(j)=⎡⎣⎢⎢⎢⎢⎢z(j)1z(j)2⋯z(j)n⎤⎦⎥⎥⎥⎥⎥ $$\begin{array}{rl}x=\left[\begin{array}{c}{x}_0\\ x_1\\ \cdots \\ x_n\end{array}\right]& z^{(j)}=\left[\begin{array}{c}{z}_1^{(j)}\\ z_2^{(j)}\\ \cdots \\ z_n^{(j)}\end{array}\right]\end{array}$$

为了进一步统一符号标识，我们设置： x=a(1) $x=a^{(1)}$。所以：

• z(j)=Θ(j−1)a(j−1) $z^{(j)}={\mathrm{\Theta }}^{(j-1)}{a}^{(j-1)}$
• a(j)=g(z(j)) $a^{(j)}=g(z^{(j)})$

所以输出层为 hΘ(x)=a(j+1)=g(z(j+1)) $h_{\mathrm{\Theta }}(x)=a^{(j+1)}=g(z^{(j+1)})$，对于三层神经网络： hΘ(x)=a(3)=g(z(3)) $h_{\mathrm{\Theta }}(x)=a^{(3)}=g(z^{(3)})$。这和逻辑回归中的模型是统一的。有没有一点小兴奋，哈哈哈。

其实神经网络就是逻辑回归，只不过我们把逻辑回归中的输入向量[x0,x1…x3]变成了神经网络中间层的[a1…a3]。我们可以把[a1…a3]看作更高级的特征，也就是[x0,x1…x3]的进化体。它比原来的特征厉害，能更好地预测新数据。这就是神经网络相比于逻辑回归和线性回归的优势。

---

推荐资料：

1. 神经网络浅讲：从神经元到深度学习