【YOLOv8改进 - 卷积Conv】DCNv3: 可变形卷积,结合稀疏注意力机制与卷积的创新算子

时间:2024-10-11 13:37:08
与近年来大规模视觉Transformer (ViTs) 的巨大进步相比,基于卷积神经网络 (CNNs) 的大规模模型仍处于早期阶段。本工作提出了一种新的大规模基于CNN的基础模型,称为InternImage,它能够像ViTs一样,通过增加参数和训练数据来获得提升。与最近关注大密度卷积核的CNNs不同,InternImage以可变形卷积作为核心运算符,因此我们的模型不仅具有下游任务(如检测和分割)所需的大有效感受野,还具有根据输入和任务信息自适应的空间聚合能力。结果是,所提出的InternImage减少了传统CNNs的严格归纳偏差,使其能够从大规模参数和海量数据中学习更强大、更鲁棒的模式,类似于ViTs。我们模型的有效性在包括ImageNet、COCO和ADE20K在内的挑战性基准上得到了验证。值得一提的是,InternImage-H在COCO test-dev上达到了新的记录65.4 mAP,在ADE20K上达到了62.9 mIoU,超越了当前领先的CNNs和ViTs。