自监督视觉Transformer

【文件属性】：

文件名称：自监督视觉Transformer

文件大小：3.87MB

文件格式：PDF

更新时间：2024-05-01 13:42:06

自监督学习 Transformer

最近，自监督学习方法在计算机视觉领域获得了越来越多的关注。在自然语言处理(NLP)中，自监督学习和transformer已经是选择的方法。最近的文献表明，transformers或某种协同监督(例如在教师网络方面)进行预训练时效果很好。这些监督的预训练的视觉变换器在下游任务获得了了非常好的结果，而只需要较小的模型改变。