文件名称：BNN_NoBN:[CVPRW 21] "BNN - BN = ? Training Binary Neural Networks without Batch Normalization", Tianlong Chen, Zhenyu Zhang, Xu Ouyang, Zechun Liu, Zhiqiang Shen, Zhangyang Wang
文件大小：319KB
文件格式：ZIP
更新时间：2024-05-06 05:08:50
batch-normalization binary-neural-networks weight-standardization normalizer-free normalization-free-training
BNN-BN =？ 在不进行批量归一化的情况下训练二进制神经网络 本文的代码 。 [CVPR BiVision研讨会2021] 陈天龙，张振宇，徐欧阳，刘泽春，沉志强，王张阳。 概述 批处理规范化（BN）是一个关键的促进因素，被认为对最新的二进制神经网络（BNN）至关重要。 但是，BN层的计算成本很高，并且通常使用非二进制参数来实现，这为有效实施BNN训练留下了障碍。 它还在每批样品之间引入了不良的依赖性。 受到无批次标准化（BN-Free）训练的最新进展的启发，我们将其框架扩展到训练BNN，并首次证明可以从BNN训练和推理体系中删除BN。 通过插入和定制技术（包括自适应梯度裁剪，秤权重标准化和专门的瓶颈模块），与基于BN的同类产品相比，无BN的BNN能够保持竞争优势。 实验结果可以在找到。 无BN的二进制神经网络 复制 环境 pytorch == 1.5.0 torchvision
【文件预览】：
BNN_NoBN-main
----README.md(2KB)
----Figs()
--------res.png(94KB)
--------nfbnn.png(200KB)
----dataset.py(4KB)
----train.py(13KB)
----LICENSE(1KB)
----script()
--------imagenet_reactnet_A_bf.sh(861B)
--------imagenet_reactnet_A_bn.sh(861B)
--------imagenet_reactnet_A_none.sh(869B)
----utils.py(10KB)
----models()
--------Qaw_reactnet_A_none.py(4KB)
--------Qa_reactnet_18_bf.py(4KB)
--------Qa_reactnet_A_bf.py(5KB)
--------Qa_reactnet_A_none.py(4KB)
--------Qaw_reactnet_18_bf.py(4KB)
--------Qaw_reactnet_A_bf.py(5KB)
--------Qaw_reactnet_18_none.py(4KB)
--------Qa_reactnet_18_bn.py(4KB)
--------Qaw_reactnet_A_bn.py(5KB)
--------Qaw_reactnet_18_bn.py(4KB)
--------Qa_reactnet_18_none.py(4KB)
--------Qa_reactnet_A_bn.py(4KB)
----agc.py(1023B)
----layers.py(6KB)