【deeplearning.ai】Neural Networks and Deep Learning——深层神经网络

时间:2022-12-14 17:21:23

吴恩达的deeplearning.ai公开课学习笔记。最近忙忘了整理,课程已被锁定,没能把编程作业保留下来……所以只把之前的笔记、公式整理了一下。水平有限,如有错误欢迎指出~

一、多层神经网络

1、神经网络结构

以四层网络为例:

【deeplearning.ai】Neural Networks and Deep Learning——深层神经网络

一些符号说明:

【deeplearning.ai】Neural Networks and Deep Learning——深层神经网络

上一篇博文介绍了浅层网络(一个隐藏层)的前向传播和反向传播公式,了解了浅层网络的传播方式后,很容易将其扩展到多层网络。上片博文给出了每层具体的计算公式,其实公式都是相通的,只需修改角标用l代替即可。

·前向传播:

【deeplearning.ai】Neural Networks and Deep Learning——深层神经网络

·反向传播:

【deeplearning.ai】Neural Networks and Deep Learning——深层神经网络

多层神经网络的构造可用下图表示:

【deeplearning.ai】Neural Networks and Deep Learning——深层神经网络

二、矩阵的维度

神经网络的参数众多,在编程时每层的参数矩阵的维度很容易弄混,下面以第一部分的神经网络的第一层为例,总结各参数矩阵的维度。

第一层网络,带权输入为:

【deeplearning.ai】Neural Networks and Deep Learning——深层神经网络