文件名称：vokenization:EMNLP 2020论文“ Vokenization的PyTorch代码
文件大小：106KB
文件格式：ZIP
更新时间：2024-05-12 10:54:08
Python
声化 EMNLP 2020论文“ 通过上下”的PyTorch代码（Hao Tan和Mohit Bansal）。 大纲 注意：我建议首先关注“ Wiki103”，并输入与“英语Wikipedia”相关的代码块。 “英语维基”可能需要很长时间才能完成。 安装 pip install -r requirements.txt 需要python 3.6及更高版本（以支持havingface变形器）。 上下文相关的跨模态匹配（xmatching） 在这个模块（相当于秒的3.2纸），我们要学会从句子的图像对准数据（即图像字幕数据）令牌的图像匹配模型。 模型“上下文地”测量标记（即单词）和图像之间的相关性。 术语“上下文”强调以下性质：在测量令牌图像相关性分数时会考虑句子（上下文）。 下载图像和字幕数据 下载MS COCO图片： # MS COCO (Train 13G, Valid 6G)
【文件预览】：
vokenization-master
----tokenization()
--------tokenize_wiki_bert.bash(274B)
--------tokenize_wiki_roberta.bash(282B)
--------tokenize_wiki103_roberta.bash(278B)
--------tokenize_dataset.py(4KB)
--------to_hdf5.py(3KB)
--------tokenize_wiki103_bert.bash(283B)
----data()
--------vg()
--------wiki()
--------wiki103()
--------mscoco()
--------lxmert()
----vokenization()
--------common.py(1KB)
--------revokenization.py(13KB)
--------evaluate_diversity.py(5KB)
--------evaluate_retrieval.py(4KB)
--------__init__.py(0B)
--------indexing.py(4KB)
--------extract_vision_keys.py(11KB)
--------vokenize_corpus_mp.py(13KB)
--------vokenization.py(15KB)
--------create_image_ids.py(2KB)
--------revokenize_corpus_mp.py(13KB)
----LICENSE(1KB)
----requirements.txt(432B)
----vlm()
--------show_glue_results_epochs.py(2KB)
--------run_lm_distributed.py(25KB)
--------run_glue.py(29KB)
--------__init__.py(12B)
--------configs()
--------model.py(15KB)
--------run_vlm_distributed.py(29KB)
--------run_glue_epochs.py(4KB)
--------param.py(7KB)
--------data.py(8KB)
----snap()
--------bert()
--------vlm()
--------xmatching()
----README.md(21KB)
----scripts()
--------extract_keys.bash(179B)
--------mpvokenize_wiki.bash(387B)
--------base_wiki_glue.bash(1KB)
--------mpvokenize_wiki103.bash(395B)
--------small_vlm_wiki103_glue.bash(1KB)
--------small_vlm_wiki103.bash(1KB)
--------xmatching_benchmark.bash(1KB)
--------base_vlm_wiki_glue.bash(1KB)
--------run_glue_at_epoch.bash(766B)
--------small_wiki103_glue.bash(1KB)
--------base_vlm_wiki.bash(1KB)
--------run_glue_epochs.bash(90B)
--------small_wiki103.bash(974B)
--------run_xmatching.bash(662B)
--------base_wiki.bash(1KB)
----xmatching()
--------loss.py(4KB)
--------main.py(12KB)
--------frozen_batch_norm.py(4KB)
--------metric.py(3KB)
--------__init__.py(0B)
--------model.py(6KB)
--------param.py(4KB)
--------data.py(6KB)