优化__训练方法.zip

【文件属性】：
文件名称：优化__训练方法.zip
文件大小：21.28MB
文件格式：ZIP
更新时间：2020-03-14 13:47:13
深度学习 Batch normalization算法：通过减少内部协变量转化加速深度网络的训练 Batch normalization: Accelerating deep network training by reducing internal covariate shift (2015) 作者S. Loffe and C. Szegedy 摘要：训练深层神经网络由于在训练期间每个层的输入的分布改变而变得复杂，因为先前层的参数发生了改变。由于要求较低的学习速率和仔细的参数初始化，它减慢了训练，并且使得训练具有饱和非线性的模型变得非常困难。我们将这种现象称为内部协变量移位（internal covariate shift ），并通过归一化层输入（normalizing layer in- puts ）来解决问题。我们的方法将归一化作为模型架构的一部分，并对每个训练迷你批次（each training mini-batch）执行归一化，从而强化其强度。批量正规化允许我们使用高得多的学习速率，并且不用太考虑初始化的问题。 作为一个调节器，在某些情况下，它也消除了对dropout的需要。应用于最先进的图像分类模型，批量归一化在减少了14倍的训练步骤的情况下实现了相同的精度，并且以显著的余量击败原始模型。凭借一个批量归一化网络的集合，我们改进了ImageNet分类已发布的最好结果：达到4.9％的Top5验证错误（以及4.8％的测试误差），超过人类评估者的准确性。 深度探入纠正器：在 Imagenet 分类中超过人类表现 Delving deep into rectifiers: Surpassing human-level performance on imagenet classification (2015) 作者 K. He et al. Dropout：一个预防神经网络过拟合的简单方式 Dropout: A simple way to prevent neural networks from overfitting (2014) 作者N. Srivastava et al. Adam：一个随机优化的方法 Adam: A method for stochastic optimization (2014) 作者 D. Kingma and J. Ba 通过预防特征检测器的互相适应改善神经网络 Improving neural networks by preventing co-adaptation of feature detectors (2012) 作者G. Hinton et al. 超参数最优化的随机搜索 Random search for hyper-parameter optimization (2012) 作者J. Bergstra and Y. Bengio

【文件预览】：
无监督__生成模型.zip