文件名称：fromage:the Fromage优化器的Pytorch代码
文件大小：10.94MB
文件格式：ZIP
更新时间：2024-04-09 18:02:03
deep-learning pytorch neural-networks optimiser fromage
来源 :cheese_wedge:优化器 · ·· Voulez-vous du fromage？ 要开始在Pytorch代码中使用Fromage，请将文件fromage.py复制到您的项目目录中，然后编写： from fromage import Fromage optimizer = Fromage ( net . parameters (), lr = 0.01 , p_bound = None ) 初始学习率0.01在我们所有的实验中都很好，除了模型微调（模型0.001很好）外。当损失达到平稳状态时，降低学习速度是一个好主意。 在某些基准上，Fromage严重超出了培训范围。我们能够通过设置p_bound正则化标志来控制此行为。这将每层权重的范数限制在p_bound乘以其初始值的系数之内。 关于这个仓库 我们已经写了一篇学术论文，提出了一种基于深度神经网络的新几何特征的优化算法。该文件称为： 。 您还可