【文件属性】：
文件名称：VILLA:NeurIPS 2020聚焦报告的研究代码“用于视觉和语言表示学习的大规模对抗训练”
文件大小：902KB
文件格式：ZIP
更新时间：2021-05-28 15:05:54
visual-question-answering vision-and-language adversarial-training pretraining neurips-2020
别墅：视觉和语言对抗训练
这是的官方存储库（NeurIPS 2020 Spotlight）。 该存储库当前支持 ， ， 和上UNITER的对抗性微调。 具有域内数据的对抗性预训练即将推出。 VILLA基础和VILLA大的预训练检查点均已发布。
此大多数代码都是从复制/修改的。
要求
我们提供Docker映像，以便于复制。 请安装以下内容：
（418+），
（19.03+），
。
我们的脚本要求用户具有以便可以在没有sudo的情况下运行docker命令。 我们仅支持带有NVIDIA GPULinux。 我们在Ubuntu 18.04和V100卡上进行测试。 我们使用混合精度训练，因此建议使用带有Tensor Core的GPU。
快速开始
注意：请运行bash scripts/download_pretrained.sh $PATH_TO_STORAGE以获取我们最新的经过预训
【文件预览】：
VILLA-main
----optim()
--------misc.py(1KB)
--------sched.py(1KB)
--------__init__.py(179B)
--------adamw.py(4KB)
----train_vcr_adv.py(32KB)
----utils()
--------misc.py(1KB)
--------distributed.py(6KB)
--------save.py(3KB)
--------ans2label.json(51KB)
--------const.py(143B)
--------__init__.py(0B)
--------itm_eval.py(4KB)
--------logger.py(2KB)
----inf_itm.py(6KB)
----inf_nlvr2.py(5KB)
----model()
--------ot.py(3KB)
--------ve.py(342B)
--------vcr.py(3KB)
--------itm.py(5KB)
--------model.py(17KB)
--------pretrain.py(10KB)
--------layer.py(9KB)
--------vqa.py(2KB)
--------attention.py(19KB)
--------nlvr2.py(9KB)
----Dockerfile(1KB)
----scripts()
--------download_indomain.sh(1KB)
--------extract_imgfeat.sh(473B)
--------download_ve.sh(969B)
--------convert_imgdir.py(5KB)
--------create_imgdb.sh(518B)
--------download_pretrained.sh(628B)
--------download_vqa.sh(2KB)
--------convert_ckpt.py(256B)
--------download_itm.sh(1KB)
--------create_txtdb.sh(1KB)
--------download_vcr.sh(1KB)
--------download_nlvr2.sh(1KB)
--------eval_nlvr2.py(2KB)
----villa_framework.png(758KB)
----train_itm_hard_negatives.py(19KB)
----pretrain.py(25KB)
----inf_vqa.py(7KB)
----train_vqa_adv.py(27KB)
----config()
--------train-itm-flickr-base-16gpu-hn.json(1KB)
--------train-ve-base-2gpu-adv.json(1KB)
--------train-nlvr2-large-2gpu-adv.json(1KB)
--------train-itm-coco-large-16gpu-hn.json(1KB)
--------uniter-base.json(313B)
--------train-vqa-base-4gpu-adv.json(1KB)
--------train-nlvr2-base-1gpu-adv.json(1KB)
--------train-vcr-large-4gpu-adv.json(1KB)
--------train-vcr-base-4gpu-adv.json(1KB)
--------train-vqa-large-8gpu-adv.json(1KB)
--------pretrain-indomain-base-8gpu.json(2KB)
--------train-itm-coco-base-16gpu-hn.json(1KB)
--------train-itm-flickr-large-16gpu-hn.json(1KB)
--------train-itm-flickr-base-8gpu.json(1KB)
--------train-ve-large-4gpu-adv.json(1KB)
--------uniter-large.json(314B)
----LICENSE(1KB)
----reproducibility-vqa()
--------log.txt(8KB)
--------hps.json(1KB)
----README.md(7KB)
----train_ve_adv.py(27KB)
----launch_container.sh(621B)
----train_itm.py(18KB)
----data()
--------ve.py(519B)
--------data.py(10KB)
--------vcr.py(11KB)
--------itm.py(17KB)
--------mrm.py(7KB)
--------mlm.py(4KB)
--------__init__.py(1KB)
--------sampler.py(2KB)
--------vqa.py(4KB)
--------loader.py(5KB)
--------nlvr2.py(7KB)
----.gitignore(1KB)
----inf_vcr.py(11KB)
----train_nlvr2_adv.py(27KB)
----prepro.py(3KB)