从Logistic Regression 到 Neural Network

Logistic Regression to Neural Network

• Logistic Regression 可以看作是一个没有隐藏层的 Neural Network
• Neural Network 可以看作是有多个Logistic Regression 堆叠而成的
  
• 1. Logistic Regression
• 1. Neural Network with one hidden layer

１．Logistic Regression

上图是一个Logistic Regression模型的结构图

• x $x$ : 模型的输入，是一个样本的特征向量，shape=(3,1)
• w $w$ : 连接输入和输出之间的权值矩阵，shape=(3,1)
• b $b$ ：偏置,shape(1,)
• a $a$ ：模型的最终输出，要经过非线性函数 σ $\sigma$ 的＇激活＇
• σ $\sigma$: σ=11+e−(wx+b) $\sigma =\frac{1}{1+e^{-(wx+b)}}$

1.1 Forward propagate

z=wTx+b(1) $$\begin{array}{}\text{(1)}& z=w^{T}x+b\end{array}$$

y^=a=σ(z)(2) $$\begin{array}{}\text{(2)}& \hat{y}=a=\sigma (z)\end{array}$$

1.2 Object function(cost function)

J=−(ylog(y^)+(1−y)log(1−y^))(3) $$\begin{array}{}\text{(3)}& J=-\left(ylog(\hat{y})+(1-y)log(1-\hat{y})\right)\end{array}$$

1.3 Backward propagate

1, dw=∂J∂a.∂a∂z.∂z∂w=? $d_w=\frac{\mathrm{\partial }J}{\mathrm{\partial }a}.\frac{\mathrm{\partial }a}{\mathrm{\partial }z}.\frac{\mathrm{\partial }z}{\mathrm{\partial }w}=?$

2， db=∂J∂a.∂a∂z=? $d_b=\frac{\mathrm{\partial }J}{\mathrm{\partial }a}.\frac{\mathrm{\partial }a}{\mathrm{\partial }z}=?$

• ∂Ja=−ya+1−y1−a=a−ya(1−a) $\frac{\mathrm{\partial }J}{a}=-\frac{y}{a}+\frac{1-y}{1-a}=\frac{a-y}{a(1-a)}$
• ∂az=a(1−a) $\frac{\mathrm{\partial }a}{z}=a(1-a)$
• ∂zw=x $\frac{\mathrm{\partial }z}{w}=x$
  
  dw=(a−y)x(4) $$\begin{array}{}\text{(4)}& d_w=(a-y)x\end{array}$$
  
  
  db=a−y(5) $$\begin{array}{}\text{(5)}& d_b=a-y\end{array}$$
  
  
  w=w−αdw(6) $$\begin{array}{}\text{(6)}& w=w-\alpha d_w\end{array}$$
  
  
  b=b=αdb(7) $$\begin{array}{}\text{(7)}& b=b=\alpha d_b\end{array}$$

1.4 Explanation Cost Function

关于cost function 我们约定： y^=p(y=1|x) $\hat{y}=p(y=1|x)$

• y^ $\hat{y}$ : 在给定训练样本 x $x$的条件下，y = 1的概率, 1−y^ $1-\hat{y}$ : y = 0的概率
• y=1:p(y|x)=y^ $y=1:p(y|x)=\hat{y}$
• y=0:p(y|x)=1−y^ $y=0:p(y|x)=1-\hat{y}$

在２分类问题当中， p(y|x) $p(y|x)$,包含两种情况 y = 0 或　y = 1,所以两个条件概率合并如下：

p(y|x)=y^y(1−y^)(1−y)(8) $$\begin{array}{}\text{(8)}& p(y|x)={\hat{y}}^y(1-\hat{y}{)}^{(1-y)}\end{array}$$

• y=1，y^y=y^，(1−y^)(1−y)=1，p(y|x)=y^ $y=1，{\hat{y}}^y=\hat{y}，(1-\hat{y}{)}^{(1-y)}=1，p(y|x)=\hat{y}$
• y=0，y^y=1，(1−y^)(1−y)=1−y^，p(y|x)=1−y^ $y=0，{\hat{y}}^y=1，(1-\hat{y}{)}^{(1-y)}=1-\hat{y}，p(y|x)=1-\hat{y}$
• log() $log()$ 是严格的单调递增函数，最大化 log(p(y|x)) $log(p(y|x))$ 等价与最大化 p(y|x) $p(y|x)$.
  log(p(y|x))=log(y^y(1−y^)(1−y))(9) $\begin{array}{}\text{(9)}& log(p(y|x))=log({\hat{y}}^y(1-\hat{y}{)}^{(1-y)})\end{array}$
• 化简后： ylog(y^)+(1−y)log(1−y^) $ylog(\hat{y})+(1-y)log(1-\hat{y})$

J=−L(y^,y) $J=-L(\hat{y},y)$

• 加负号的原因：

  • 训练模型时需要输出的概率值最大
  • 逻辑回归中要最小化损失函数

2. Neural Network

上图所示，是一个三层的网络机构，输入层神经元数量为 n[0] $n^{[0]}$，隐藏层为 n[1] $n^{[1]}$，输出层为 n[2] $n^{[2]}$．

• n[0] $n^{[0]}$ : 3
• n[1] $n^{[1]}$ : 3
• n[2] $n^{[2]}$ : 1
• x=a[0] $x=a^{[0]}$ : 输入样本的特征向量 a[0] $a^{[0]}$，shape=( n[0] $n^{[0]}$，１)
• w[1] $w^{[1]}$ : 连接输入层和隐藏层之间的权值矩阵，shape=( n[0] $n^{[0]}$, n[1] $n^{[1]}$)
• b[1] $b^{[1]}$ : 偏置，可以是一个标量，numpy中的＇广播＇机制会传递给矩阵或向量中的每一个元素，shape=(1,)
• a[1] $a^{[1]}$ : 隐藏层的输出，shape=( n[1] $n^{[1]}$, 1)
• w[2] $w^{[2]}$ : 连接隐藏层和输出层之间的权值矩阵，shape=( n[1] $n^{[1]}$, n[2] $n^{[2]}$)
• b[2] $b^{[2]}$ : 偏置
• a[2] $a^{[2]}$ : 输出层的输出
• σ $\sigma$ : σ=11+e−(wx+b) $\sigma =\frac{1}{1+e^{-(wx+b)}}$

2.1 Forward propagate

x $x$ 为一个样本的特征向量，shape=(3, 1)
z[1]=w[1]Tx+b[1](1) $\begin{array}{}\text{(1)}& z^{[1]}=w^{[1]T}x+b^{[1]}\end{array}$
a[1]=σ(z[1])(2) $\begin{array}{}\text{(2)}& a^{[1]}=\sigma (z^{[1]})\end{array}$
z[2]=w[2]Ta[1]+b[2](3) $\begin{array}{}\text{(3)}& z^{[2]}=w^{[2]T}{a}^{[1]}+b^{[2]}\end{array}$
a[2]=y^=σ(z[2])(4) $\begin{array}{}\text{(4)}& a^{[2]}=\hat{y}=\sigma (z^{[2]})\end{array}$
J=−(ylog(a[2])+(1−y)log(1−a[2]))(5) $\begin{array}{}\text{(5)}& J=-\left(ylog(a^{[2]})+(1-y)log(1-a^{[2]})\right)\end{array}$

2.2 Backward propagate

• 计算梯度

dw[2]=∂J∂a[2].∂a[2]∂z[2].∂z[2]w[2] $$d_{w^{[2]}}=\frac{\mathrm{\partial }J}{\mathrm{\partial }{a}^{[2]}}.\frac{\mathrm{\partial }{a}^{[2]}}{\mathrm{\partial }{z}^{[2]}}.\frac{\mathrm{\partial }{z}^{[2]}}{w^{[2]}}$$

db[2]=∂J∂a[2].∂a[2]∂z[2] $$d_{b^{[2]}}=\frac{\mathrm{\partial }J}{\mathrm{\partial }{a}^{[2]}}.\frac{\mathrm{\partial }{a}^{[2]}}{\mathrm{\partial }{z}^{[2]}}$$

∂J∂a[2]=−ya[2]+1−y1−a[2]=a[2]−ya[2](1−a[2]) $$\frac{\mathrm{\partial }J}{\mathrm{\partial }{a}^{[2]}}=-\frac{y}{a^{[2]}}+\frac{1-y}{1-a^{[2]}}=\frac{a^{[2]}-y}{a^{[2]}(1-a^{[2]})}$$

∂a[2]∂z[2]=a[2](1−a[2]) $$\frac{\mathrm{\partial }{a}^{[2]}}{\mathrm{\partial }{z}^{[2]}}=a^{[2]}(1-a^{[2]})$$

∂z[2]w[2]=a[1] $$\frac{\mathrm{\partial }{z}^{[2]}}{w^{[2]}}=a^{[1]}$$

dw[2]=a[2]−ya[2](1−a[2]).a[2](1−a[2]).a[1]=(a[2]−y)a[1](6) $\begin{array}{}\text{(6)}& d_{w^{[2]}}=\frac{a^{[2]}-y}{a^{[2]}(1-a^{[2]})}.a^{[2]}(1-a^{[2]}).a^{[1]}=(a^{[2]}-y)a^{[1]}\end{array}$

db[2]=a[2]−ya[2](1−a[2]).a[2](1−a[2])=a[2]−y(7) $\begin{array}{}\text{(7)}& d_{b^{[2]}}=\frac{a^{[2]}-y}{a^{[2]}(1-a^{[2]})}.a^{[2]}(1-a^{[2]})=a^{[2]}-y\end{array}$

dw[1]=∂J∂a[2].∂a[2]∂z[2].∂z[2]a[1].∂a[1]∂z[1].∂z[1]w[1] $$d_{w^{[1]}}=\frac{\mathrm{\partial }J}{\mathrm{\partial }{a}^{[2]}}.\frac{\mathrm{\partial }{a}^{[2]}}{\mathrm{\partial }{z}^{[2]}}.\frac{\mathrm{\partial }{z}^{[2]}}{a^{[1]}}.\frac{\mathrm{\partial }{a}^{[1]}}{\mathrm{\partial }{z}^{[1]}}.\frac{\mathrm{\partial }{z}^{[1]}}{w^{[1]}}$$

db[1]=∂J∂a[2].∂a[2]∂z[2].∂z[2]a[1].∂a[1]∂z[1] $$d_{b^{[1]}}=\frac{\mathrm{\partial }J}{\mathrm{\partial }{a}^{[2]}}.\frac{\mathrm{\partial }{a}^{[2]}}{\mathrm{\partial }{z}^{[2]}}.\frac{\mathrm{\partial }{z}^{[2]}}{a^{[1]}}.\frac{\mathrm{\partial }{a}^{[1]}}{\mathrm{\partial }{z}^{[1]}}$$

∂z[2]a[1]=w[2] $$\frac{\mathrm{\partial }{z}^{[2]}}{a^{[1]}}=w^{[2]}$$

∂a[1]∂z[1]=a[1](1−a[1]) $$\frac{\mathrm{\partial }{a}^{[1]}}{\mathrm{\partial }{z}^{[1]}}=a^{[1]}(1-a^{[1]})$$

∂z[1]w[1]=x $$\frac{\mathrm{\partial }{z}^{[1]}}{w^{[1]}}=x$$

dw[1]=x⊙(((a[2]−y)w[2])⊙(a[1](1−a[1])))T(8) $\begin{array}{}\text{(8)}& d_{w^{[1]}}=x\odot (((a^{[2]}-y)w^{[2]})\odot (a^{[1]}(1-a^{[1]})){)}^T\end{array}$

db[1]=a[2]−ya[2](1−a[2]).a[2](1−a[2]).w[2].a[1](1−a[1])=((a[2]−y)w[2])⊙(a[1](1−a[1]))(9) $\begin{array}{}\text{(9)}& d_{b^{[1]}}=\frac{a^{[2]}-y}{a^{[2]}(1-a^{[2]})}.a^{[2]}(1-a^{[2]}).w^{[2]}.a^{[1]}(1-a^{[1]})=((a^{[2]}-y)w^{[2]})\odot (a^{[1]}(1-a^{[1]}))\end{array}$

• 更新权值

w[1]=w[1]−αdw[1](10) $\begin{array}{}\text{(10)}& w^{[1]}=w^{[1]}-\alpha d_{w^{[1]}}\end{array}$
b[1]=b[1]−αdb[1](11) $\begin{array}{}\text{(11)}& b^{[1]}=b^{[1]}-\alpha d_{b^{[1]}}\end{array}$
w[2]=w[2]−αdw[2](12) $\begin{array}{}\text{(12)}& w^{[2]}=w^{[2]}-\alpha d_{w^{[2]}}\end{array}$
b[2]=b[2]−αdb[2](13) $\begin{array}{}\text{(13)}& b^{[2]}=b^{[2]}-\alpha d_{b^{[2]}}\end{array}$