一、项目简介
手动实现mini深度学习框架,主要精力不放在运算优化上,仅体会原理。
地址见:miniDeepFrame
相关博客
『TensorFlow』卷积层、池化层详解
『科学计算』全连接层、均方误差、激活函数实现
文件介绍
Layer.py
层 class,已实现:全连接层,卷积层,平均池化层Loss.py
损失函数 class,已实现:均方误差损失函数Activate.py
激活函数 class,已实现:sigmoid、tanh、relutest.py
训练测试代码
主流框架对于卷积相关层的实现都是基于矩阵乘法运算,而非这里的多层for循环。由于计算机计算矩阵乘法速度非常快,所以这是一个虽然提高内存消耗但是计算速度显著上升的方法,把feature map中的感受野(包含重叠的部分,所以会加大内存消耗)和卷积核全部拉伸成为向量,组成两个矩阵相乘,再想办法恢复为输出的feature map(详见『TensorFlow』卷积层、池化层详解)。
二、测试输出
我们此时不对层函数进行封装,仅仅实现了最简单的前向传播、反向传播、参数获取几个功能,利用这些功能,我们已经可以实现一个最简单的神经网络,
声明并初始化各层class的实例,这会使得各个实例初始化可学习参数
(【注】一般的框架会在运行时,即第一次前向传播时才初始化参数,本demo由于是动态的,所以没必要这样写)
进入循环体:
获取数据,向前传播,计算损失函数&损失函数的梯度
向后传播,获取各个参数的梯度
对参数循环,利用参数梯度更新参数
在test.py中,我们使用tensorflow的接口,下载并读取mnist数据集,然后训练一个10分类的分类器,观察收敛过程。
损失函数收敛展示
实际运行test.py,会输出loss函数结果,并绘制成图,左图展示了整个loss函数收敛过程,
实际训练并查看中间输出可以看见,最开始几次训练的损失函数下降的极快,相应的梯度值如果添加了中间的输出也会极大(10^3量级,对应的参数初始化为-1~1之间),于是下图截掉了前四次迭代输出的Loss,能够更好的展示后面的收敛过程: