文件名称:MONeT:用于减少DNN训练的内存消耗的MONeT框架
文件大小:289KB
文件格式:ZIP
更新时间:2024-04-09 05:06:27
machine-learning deep-neural-networks dnn pytorch memory-consumption
MONeT:深度网络的内存优化 MONeT计划是通过PyTorch实施的,可以在有限的内存预算下以最少的计算开销来训练深度网络。 MONeT共同确定检查点和操作员实施方案,从而将GPU内存减少多达3倍,而计算开销为9-16%。 深度网络的内存优化Aashaka Shah,吴朝元,Jayashree Mohan,Vijay Chidambaram,PhilippKrähenbühl 安装 MONeT已通过PyTorch 1.5.1,torchvision 0.6.1和cudatoolkit 10.1进行了测试。使用python 3.7或更高版本创建一个conda环境。在环境内部,安装以下软件包: cvxpy , gurobi , pandas , ninja-build , coinor-cbc , coinor-libcbc-dev和cylp 。 提供安装脚本。 克隆此仓库并安装软件包。
【文件预览】:
MONeT-master
----config.py(10B)
----.gitmodules(83B)
----models()
--------unet()
----LICENSE.txt(1KB)
----checkmate()
--------utils()
--------checkmate_schedule.py(20KB)
--------checkmate_solver.py(17KB)
--------readme.md(505B)
----install.sh(625B)
----examples()
--------dist_training.py(2KB)
--------check_runtime_original.py(2KB)
--------training.py(583B)
--------imagenet.py(18KB)
----setup.py(508B)
----README.md(7KB)
----monet()
--------pipelined_solver_info.py(22KB)
--------cvxpy_solver.py(17KB)
--------gurobi_solver.py(20KB)
--------meminfo.py(18KB)
--------schedule.py(22KB)
--------lm_ops()
--------monet_wrapper.py(1KB)
--------graph.py(6KB)
--------solver_info.py(24KB)
----data()
----.gitignore(53B)
----figs()
--------monet_concept_fig.jpeg(226KB)