吴恩达的deeplearning.ai公开课学习笔记。最近忙忘了整理,课程已被锁定,没能把编程作业保留下来……所以只把之前的笔记、公式整理了一下。水平有限,如有错误欢迎指出~
一、多层神经网络
1、神经网络结构
以四层网络为例:
一些符号说明:
上一篇博文介绍了浅层网络(一个隐藏层)的前向传播和反向传播公式,了解了浅层网络的传播方式后,很容易将其扩展到多层网络。上片博文给出了每层具体的计算公式,其实公式都是相通的,只需修改角标用l代替即可。
·前向传播:·反向传播:
多层神经网络的构造可用下图表示:
二、矩阵的维度
神经网络的参数众多,在编程时每层的参数矩阵的维度很容易弄混,下面以第一部分的神经网络的第一层为例,总结各参数矩阵的维度。
第一层网络,带权输入为: