【自学笔记】神经网络（1）

$z_j^{(i)}=f_j^{(i)}(x^{(i)})=w_j^{(i)}\cdot x^{(i)}+b_j^{(i)}$
$x_j^{(i+1)}=g(z_j^{(i)})$，其中假设每个神经元用的都是g为$sigmoid$函数，不作区分
 
应用链式法则：
$\frac{\delta L}{\delta w_j^{(i)}}=\frac{\delta L}{\delta x_j^{(i+1)}}\ast \frac{\delta x_j^{(i+1)}}{\delta z_j^{(i)}}\ast \frac{\delta z_j^{(i)}}{\delta w_j^{(i)}}$
$=\frac{\delta L}{\delta x_j^{(i+1)}}\ast x_j^{(i+1)}\ast (1-x_j^{(i+1)})\ast x_j^{(i)}$
$\frac{\delta L}{\delta b_j^{(i)}}=\frac{\delta L}{\delta x_j^{(i+1)}}\ast \frac{\delta x_j^{(i+1)}}{\delta z_j^{(i)}}\ast \frac{\delta z_j^{(i)}}{\delta b_j^{(i)}}$
$=\frac{\delta L}{\delta x_j^{(i+1)}}\ast x_j^{(i+1)}\ast (1-x_j^{(i+1)})$
 
计算$\frac{\delta L}{\delta x_j^{(i)}}$:
$\frac{\delta L}{\delta x_j^{(i)}}=\delta x_{}$