文件名称：UNITER:ECCV 2020研究论文“ UNITER”的研究代码
文件大小：167KB
文件格式：ZIP
更新时间：2024-04-09 22:19:35
transformers vision-and-language pre-training Python
UNITER：通用图像表达学习 这是的官方存储库（ECCV 2020）。此存储库当前支持微调NLVR2， ， ， 上的 ，对和图像文本检索，以及（RefCOCO，RefCOCO +和RefCOCO-g）。基于UNITER的训练点和基于UNITER的大训练点均已发布。还提供带域内数据的基于UNITER的预训练。 此某些代码是从 ， ， 和提供的开源实现中复制/修改的。使用提取图像特征。 要求 我们提供Docker映像，以便于复制。请安装以下内容： （418+）， （19.03+）， 。 我们的脚本要求用户具有以便可以在没有sudo的情况下运行docker命令。我们仅支持带有NVIDIA GPULinux。我们在Ubuntu 18.04和V100卡上进行测试。我们使用混合精度训练，因此建议使用带有Tensor Core的GPU。 快速开始 注意：请运行bash scripts/
【文件预览】：
UNITER-master
----optim()
--------misc.py(1KB)
--------sched.py(1KB)
--------__init__.py(179B)
--------adamw.py(4KB)
----utils()
--------misc.py(1KB)
--------distributed.py(6KB)
--------save.py(3KB)
--------ans2label.json(51KB)
--------const.py(143B)
--------__init__.py(0B)
--------itm_eval.py(4KB)
--------logger.py(2KB)
----inf_itm.py(6KB)
----inf_nlvr2.py(5KB)
----train_vcr.py(20KB)
----model()
--------ot.py(3KB)
--------ve.py(342B)
--------vcr.py(3KB)
--------itm.py(5KB)
--------re.py(6KB)
--------model.py(16KB)
--------pretrain.py(10KB)
--------layer.py(9KB)
--------vqa.py(2KB)
--------attention.py(19KB)
--------pretrain_vcr.py(7KB)
--------nlvr2.py(8KB)
----Dockerfile(1KB)
----scripts()
--------download_re.sh(909B)
--------download_indomain.sh(1KB)
--------extract_imgfeat.sh(473B)
--------eval_refcocog.sh(433B)
--------download_ve.sh(786B)
--------eval_refcoco+.sh(481B)
--------convert_imgdir.py(5KB)
--------create_imgdb.sh(518B)
--------download_pretrained.sh(376B)
--------download_vqa.sh(984B)
--------convert_ckpt.py(256B)
--------download_itm.sh(1KB)
--------create_txtdb.sh(1KB)
--------download_vcr.sh(1KB)
--------download_nlvr2.sh(1KB)
--------eval_nlvr2.py(2KB)
--------create_txtdb_re.sh(2KB)
--------eval_refcoco.sh(473B)
----train_vqa.py(17KB)
----train_itm_hard_negatives.py(19KB)
----train_re.py(18KB)
----pretrain.py(25KB)
----inf_vqa.py(7KB)
----train_nlvr2.py(17KB)
----config()
--------train-vqa-base-4gpu.json(967B)
--------pretrain-alldata-large-16gpu.json(4KB)
--------train-vqa-large-8gpu.json(967B)
--------train-itm-flickr-base-16gpu-hn.json(1KB)
--------train-nlvr2-base-1gpu.json(955B)
--------pretrain-vcr-base-4gpu.json(1KB)
--------train-refcoco-base-1gpu.json(822B)
--------pretrain-alldata-base-8gpu.json(4KB)
--------train-itm-coco-large-16gpu-hn.json(1KB)
--------uniter-base.json(313B)
--------train-refcocog-base-1gpu.json(825B)
--------train-vcr-base-4gpu.json(922B)
--------pretrain-vcr-large-4gpu.json(1KB)
--------train-ve-base-2gpu.json(915B)
--------train-refcoco+-base-1gpu.json(945B)
--------pretrain-indomain-base-8gpu.json(2KB)
--------train-nlvr2-large-2gpu.json(953B)
--------train-itm-coco-base-16gpu-hn.json(1KB)
--------train-itm-flickr-large-16gpu-hn.json(1KB)
--------train-ve-large-4gpu.json(915B)
--------train-itm-flickr-base-8gpu.json(1KB)
--------uniter-large.json(314B)
--------train-vcr-large-4gpu.json(924B)
----LICENSE(1KB)
----README.md(10KB)
----inf_re.py(7KB)
----launch_container.sh(621B)
----train_itm.py(18KB)
----data()
--------ve.py(519B)
--------data.py(10KB)
--------vcr.py(11KB)
--------itm.py(17KB)
--------re.py(10KB)
--------mrm.py(7KB)
--------mlm.py(4KB)
--------__init__.py(1KB)
--------sampler.py(4KB)
--------vqa.py(4KB)
--------loader.py(5KB)
--------pretrain_vcr.py(10KB)
--------nlvr2.py(7KB)
----.gitignore(1KB)
----inf_vcr.py(11KB)
----pretrain_vcr.py(22KB)
----train_ve.py(16KB)
----prepro.py(7KB)