自监督视觉Transformer

【文件属性】：
文件名称：自监督视觉Transformer
文件大小：3.87MB
文件格式：PDF
更新时间：2021-04-11 19:55:26
自监督学习 Transformer 最近，自监督学习方法在计算机视觉领域获得了越来越多的关注。在自然语言处理(NLP)中，自监督学习和transformer已经是选择的方法。最近的文献表明，transformers或某种协同监督(例如在教师网络方面)进行预训练时效果很好。这些监督的预训练的视觉变换器在下游任务获得了了非常好的结果，而只需要较小的模型改变。