____tz_zs学习笔记
第二周 神经网络基础
2.7 计算图
使用流程图从左到右来计算成本函数J
2.8 计算图的导数计算
反向从右到左计算导数
·
2.9 logistic 回归中的梯度下降法
计算偏导数
2.10 m 个样本的梯度下降
m个样本一起求损失，使用m个样本的全局梯度来更新参数
·
显式的for循环，会使算法很低效。
向量化技术（vectorization）能使你的代码摆脱这些显式的for循环
2.11 向量化
经验法则是：只要有其他可能，就不要使用显式for循环
·
1、CPU和GPU都有并行化的指令——SIMD指令：意思是单指令流多数据流
2、如果你使用了这样的内置函数（如np.xx或者其他能去掉for循环的），numpy能够充分利用并行化去更快的计算
3、GPU比CPU更加擅长SIMD计算，CPU也不差
2.12 向量化的更多例子
·
·logistic回归的向量化，第一步，先去掉dw那的for循环
2.13 向量化 logistic 回归
logistic回归的正向传播过程的向量化实现，第二步
2.14 向量化 logistic 回归的梯度输出
第三步
完整一次迭代过程的向量化实现
·