【文件属性】：
文件名称：lambda.pytorch:Lambda网络和预训练的Lambda-ResNet的PyTorch实施
文件大小：5KB
文件格式：ZIP
更新时间：2021-05-06 11:14:33
pytorch imagenet attention pre-trained-model iclr2021
lambda.pytorch
[NEW！]看看我们的最新作品在CVPR'21该桥梁卷积和自我关注运营商。
LambdaNetworks的PyTorch实现。
Lambda网络应用矩阵乘法的关联定律来逆转自我注意力的计算顺序，从而实现了有关内容交互的线性计算复杂性。
以前在和使用了类似的技术。 在另一个存储库签出一系列自我注意模块。
训练配置
✓SGD优化器，初始学习率0.1，动量0.9，重量衰减0.0001
✓时代130，批量大小256，8个Tesla V100 GPU，LR衰减策略余弦
✓标签平滑0.1
训练有素的检查站
建筑学
参数
襟翼
前1名/前5名（％）
下载
Lambda-ResNet-50
14.995万
6.576克
78.208 / 93.820
|
引文
如果您发现此存储库对您的研究有用，请引用
@InProceedings { Li_2021_CVPR
【文件预览】：
lambda.pytorch-main
----lambda_resnet.py(9KB)
----README.md(2KB)
----lambda_layer.py(2KB)