与神经网络有关的主要参数如下:
- 卷积层的卷积核大小、卷积核个数
- **函数的种类(常用的sigmoid tanh relu, leaky relu)
- 池化方法的种类
- 网络的层结构(卷积层的个数/全连接层的个数)
- Dropout的概率
- 有无预处理
- 有无归一化
与训练有关的参数如下所示:
- Mini-Batch的个数
- 学习率
- 迭代次数
- 有无预训练
经过大量的实验可以得到,在调整参数时,重要的是先调整卷积层的卷积核个数、**函数的种类以及输入图像的预处理。其他参数虽然也会对性能或多或少地产生影响,但是差异不大,所有首先确定重要参数,然后再对其他参数进行微调即可。实验中改变参数所形成地比较看下图:
截取自:《图解深度学习》