EvoNorm:EvoNorm的非官方PyTorch实施

时间:2024-05-12 15:40:56
【文件属性】:

文件名称:EvoNorm:EvoNorm的非官方PyTorch实施

文件大小:324KB

文件格式:ZIP

更新时间:2024-05-12 15:40:56

computer-vision deep-learning neural-networks nas normalization

不断发展的标准化激活层 Google AI和DeepMind 在培训模式支持下实施EvoNorm S0和B0 使用group_std和instance_std函数解决形状错误 解决S0的NaN错误问题 修复EvoNorm B0中运行方差计算中的形状错误 解决B0的NaN错误问题 图1.左图:搜索的归一化激活层的计算图,该层与批次无关,名为EvoNorm-S0。 正确:ResNet-50的结果是EvoNorm-S0,因为ImageNet上超过8个工作人员的批处理量从1024变为32。 在MobileNetV2和Mask R-CNN上,EvoNorm-S0的性能也优于BN和GN。 用法: from evonorm2d import EvoNorm2D # For B0 version evoB0 = EvoNorm2D(input, affine = True, version


【文件预览】:
EvoNorm-master
----figures()
--------evonorm.PNG(329KB)
----evonorm2d.py(4KB)
----LICENSE(1KB)
----README.md(961B)

网友评论