吴恩达Coursera深度学习课程 deeplearning.ai (1-4) 深层神经网络--课程笔记

时间:2022-02-02 20:10:24

相关课件:https://download.csdn.net/download/haoyutiangang/10369632

深层神经网络

深层神经网络就是有更多个隐藏层的神经网络
吴恩达Coursera深度学习课程 deeplearning.ai (1-4) 深层神经网络--课程笔记

矩阵的维度

矩阵维度和矩阵导数的维度一致

X^{[l]}: (n^{[l]}, m)

W^{[l]}: (n^{[l]}, n{[l-1]}) dW^{[l]} = W^{[l]} b^{[l]}: (n^{[l]}, 1) db^{[l]} = b^{[l]} Z^{[l]}: (n^{[l]}, 1) A^{[l]} = Z^{[l]}

吴恩达Coursera深度学习课程 deeplearning.ai (1-4) 深层神经网络--课程笔记

前向和反向传播

吴恩达Coursera深度学习课程 deeplearning.ai (1-4) 深层神经网络--课程笔记
吴恩达Coursera深度学习课程 deeplearning.ai (1-4) 深层神经网络--课程笔记
吴恩达Coursera深度学习课程 deeplearning.ai (1-4) 深层神经网络--课程笔记
吴恩达Coursera深度学习课程 deeplearning.ai (1-4) 深层神经网络--课程笔记

参数 VS 超参数

  • 参数: W b
  • 超参数: 用来控制 W 和 b 的参数
    • 学习率: alpha
    • 迭代次数:N
    • 层数:L
    • 每层的神经元个数:n
    • 激活函数

这和大脑有什么关系

没啥关系,仅是类比
- 神经元有多个树突(输入),一个轴突(输出)
- 多个神经元相互连接成网,传递和处理复杂信息。