文件名称:RBN:CVPR2021口头论文的官方回购
文件大小:23KB
文件格式:ZIP
更新时间:2024-05-06 10:32:12
Python
具有特征校准功能的代表性批次归一化(RBN) CVPR2021口腔论文的正式实施:具有功能校准的代表性批次归一化 您只需要用我们的RBN替换BN,而无需任何其他调整。 更新 2021.4.9现在可以在Jittor使用Jittor实现。 2021.4.1发布了使用RBN进行ImageNet分类的训练代码。 介绍 批次标准化(BatchNorm)已成为现代神经网络中稳定训练的默认组件。 在BatchNorm中,对中和缩放操作以及均值和方差统计信息用于批次尺寸上的特征标准化。 BatchNorm的批处理依赖关系可进行稳定的训练并更好地表示网络,同时不可避免地会忽略实例之间的表示差异。 我们建议在BatchNorm的居中和缩放操作中添加一个简单而有效的特征校准方案,以可忽略的计算成本来增强实例特定的表示。 居中校准可增强信息功能并减少噪音功能。 缩放校准限制了特征强度以形成更稳定的特征分布。
【文件预览】:
RBN-main
----rbn.py(3KB)
----ImageNet_training()
--------rbn.py(3KB)
--------utils.py(7KB)
--------README.md(2KB)
--------resnet.py(14KB)
--------train.py(12KB)
----README.md(2KB)
----Jittor()
--------rbn.py(3KB)
--------diff.py(3KB)
--------README.md(902B)
--------resnet_torch.py(14KB)
--------rbn_jittor.py(3KB)
--------resnet_jittor.py(9KB)