文件名称：西安立辰远景JAVA笔试题目-AccSGD:为AcceleratedSGD算法实现pytorch代码
文件大小：4KB
文件格式：ZIP
更新时间：2024-07-03 07:44:30
系统开源
西安立辰远景JAVA笔试题目ACCSGD 这是论文中使用的与加速 SGD 算法相关的代码，选择出现在 ICLR 2018。 用法： 可以下载代码并将其放置在给定的本地目录中。 与使用 pytorch 工具包中的任何常用优化器类似，也可以轻松使用 AccSGD 优化器。 首先，我们需要通过以下命令导入优化器： from AccSGD import * 接下来，可以使用以下命令调用使用给定 pytorch model的 ASGD 优化器： optimizer = AccSGD(model.parameters(), lr=0.1, kappa = 1000.0, xi = 10.0) 其中， lr是学习率， kappa是长步参数， xi是统计优势参数。 设置参数/调试指南： 学习率lr : lr的设置方式类似于vanilla Stochastic Gradient Descent (SGD)/Standard Momentum (Heavy Ball)/Nesterov's Acceleration等方案。 请注意， lr是批量大小的函数 - 这种现象的严格量化可以在下面找到。 在一些实证
【文件预览】：
AccSGD-master
----.gitignore(1KB)
----README.md(4KB)
----AccSGD.py(3KB)