1、神经网络最基本的原理也是函数拟合，所以lose function就显得非常重要了，我们训练的目的之一就是减小损失函数，常用的损失函数参考：https://www.cnblogs.com/hypnus-ly/p/8047214.html，比如entropy_cross,比较两个概率分布的差异，同时又使得反向传播时好计算。
2、神经网络训练都是以一个batch为训练单位，即一批一批的训练，那么反向传播时怎么计算导数呢？可以体会，这个batch轴对于w没有什么影响，对于b有一些影响。只不过反向传播时，loss function取均值。