文件名称：pytorch-lars:PyTorch中的“分层自适应速率缩放”
文件大小：93KB
文件格式：ZIP
更新时间：2024-06-15 05:33:42
Python
火炬手 PyTorch中的分层自适应速率缩放 此存储库包含You，Gitman和Ginsburg撰写的论文《》中的逐层自适应速率缩放（LARS）的PyTorch实现。 最近包含了此版本的另一个版本。 运行，做 python train.py --optimizer LARS --cuda lars_results 它使用进行实验记录。 但是主优化器文件不依赖于该框架。 初步结果 我刚刚在CIFAR-10上使用ResNet18对此进行了测试。 我使用了标准的来训练非常大的批量。 批量大小 测试精度 64 89.39 256 85.45 1024 81.2 4096 73.41 16384 64.13 相比之下，使用带有动量的SGD，我能够使用几何衰减进度表（使用实现）在200个纪元内达到约93.5％的测试准确度。 但是，我尚未进行大量的超参数调整-我使用了本文建议的
【文件预览】：
pytorch-lars-master
----.gitignore(1KB)
----images()
--------lars_test_curves.jpg(96KB)
----conf.yaml(142B)
----lars.py(4KB)
----LICENSE(1KB)
----README.md(2KB)
----train.py(7KB)