signSGD:标志的代码SGD纸

【文件属性】：
文件名称：signSGD:标志的代码SGD纸
文件大小：70.22MB
文件格式：ZIP
更新时间：2021-05-28 19:45:03
JupyterNotebook signSGD：非凸问题的压缩优化 在这里，我存放了原始signSGD论文（ICML-18）的mxnet代码。 我在此处放置了代码，以方便在论文中重现结果，并且该代码并非旨在用于开发目的。 特别是，此实现不会从压缩中获得任何加速。 一些链接： 。 在上有关该论文的更多信息。 我的合着者：， ， 。 [2021年1月更新]如，此代码库使用了sign函数的实现，该函数映射sign(0) --> 0 。 的测试表明，随机映射sign(0) --> ±1的实现可能没有什么区别。 在的中，我们使用了确定性映射sign(0) --> +1 。 一般说明： Signum在mxnet中作为官方优化器实现，因此要在此代码库中使用Signum，我们将字符串“ signum”作为命令行参数传递。 如果您不使用我们建议的超参数，请小心调整它们。 Signum超参数通常与Adam超参数相似，而不

【文件预览】：
signSGD-master
----cifar()
--------batch_train.sh(141B)
--------data()
--------networkTrainer.py(7KB)
--------README.md(1KB)
--------main_batch.py(902B)
----.gitignore(10B)
----gradient_expts()
--------cifarTrainer.py(8KB)
--------run_expts.py(720B)
--------imagenetTrainer.py(5KB)
--------getCifarData.py(649B)
--------gradient_utils.py(3KB)
--------README.md(736B)
----signSGD_zeros.ipynb(70KB)
----README.md(2KB)
----imagenet()
--------README.md(890B)
--------train_resnet.py(8KB)
----toy_problem()
--------.ipynb_checkpoints()
--------sparse_noise.ipynb(56KB)
--------README.md(99B)