inplace_abn:就地激活的BatchNorm,用于DNN的内存优化训练

时间:2024-04-26 05:10:45
【文件属性】:

文件名称:inplace_abn:就地激活的BatchNorm,用于DNN的内存优化训练

文件大小:149KB

文件格式:ZIP

更新时间:2024-04-26 05:10:45

Python

就地激活的批次标准 就地激活的BatchNorm(InPlace-ABN)是一种新颖的方法,可以减少训练深度网络所需的内存。 通过将BN +非线性激活重新定义为一次就地操作,它可以在现代体系结构(如ResNet,ResNeXt和Wider ResNet)中节省多达50%的内存,同时根据需要智能地丢弃或重新计算中间缓冲区。 该存储库包含InPlace-ABN层的实现,以及一些用于重现本文中报告的ImageNet分类结果的训练脚本。 现在,我们还发布了用于语义分割的推理代码,以及的Mapillary Vistas训练模型。 可以在本页底部找到更多信息。 引文 如果您在研究中使用就地激活的批次标准,请引用: @inproceedings { rotabulo2017place , title = { In-Place Activated BatchNorm for Memory-Opti


【文件预览】:
inplace_abn-master
----MANIFEST.in(33B)
----inplace_abn.png(85KB)
----src()
--------inplace_abn_kernels.cuh(11KB)
--------inplace_abn.cpp(7KB)
--------inplace_abn_cpu.cpp(6KB)
--------inplace_abn_cuda.cu(14KB)
--------utils.cpp(500B)
----scripts()
--------train_imagenet.py(11KB)
--------experiments()
--------models()
--------test_imagenet.py(3KB)
--------modules()
--------requirements.txt(43B)
--------imagenet()
--------test_vistas_single_gpu.py(11KB)
--------dataset()
--------test_vistas.py(2KB)
----requirements.txt(100B)
----CONTRIBUTING.md(697B)
----inplace_abn()
--------functions.py(11KB)
--------__init__.py(183B)
--------group.py(2KB)
--------abn.py(11KB)
--------_backend.pyi(1KB)
----LICENSE(2KB)
----setup.cfg(34B)
----setup.py(2KB)
----README.md(12KB)
----licenses.csv(192B)
----equation.svg(5KB)
----CODE_OF_CONDUCT.md(3KB)
----.gitignore(982B)
----include()
--------dispatch.h(3KB)
--------cuda_utils.cuh(4KB)
--------inplace_abn.h(4KB)
--------checks.h(2KB)
--------utils.h(1KB)

网友评论