文件名称：ICCV19_VQA-CTI:ICCV 19论文的回购
文件大小：562KB
文件格式：ZIP
更新时间：2024-05-24 13:05:07
ai deep-learning vqa iccv visual-question-answering
紧凑型三线性交互用于视觉问题解答-CTI 该存储库是用于视觉问题回答的紧凑型三线性交互的实现。 在视觉问题解答（VQA）中，答案与问题含义和视觉内容有很大的关联。 因此，为了有选择地利用图像，问题和答案信息，我们提出了一种新颖的三线性交互模型，该模型同时学习了这三个输入之间的高级关联。 此外，为了克服交互的复杂性，我们引入了基于多模量张量的PARALIND分解，该分解可有效地参数化三个输入之间的三线性交互。 此外，知识蒸馏应用于*形式的开放式VQA。 它不仅用于减少计算成本和所需的内存，而且还用于将知识从三线性交互模型转移到双线性交互模型。 在基准数据集TDIUC，VQA-2.0和Visual7W上进行的大量实验表明，所提出的紧凑型三线性交互模型在所有三个数据集上均实现了最新的结果。 对于*形式的开放式VQA任务，我们的提案在VQA准确性度量标准中，在上达到67.4 ，在上87.
【文件预览】：
ICCV19_VQA-CTI-master
----.gitignore(111B)
----requirements.txt(144B)
----src()
--------classifier.py(976B)
--------evaluate_TDIUC.py(5KB)
--------MC()
--------FFOE()
--------bc.py(3KB)
--------activation.py(390B)
--------language_model.py(3KB)
--------meters.py(2KB)
--------utils.py(14KB)
--------attention.py(5KB)
--------loss_function.py(850B)
--------counting.py(7KB)
--------dataset.py(6KB)
--------evaluate.py(2KB)
--------fc.py(2KB)
--------Tensor.py(2KB)
--------tc.py(2KB)
----LICENSE(1KB)
----tools()
--------compute_softscore.py(9KB)
--------detection_features_converter.py(5KB)
--------detection_features_converter_target.py(4KB)
--------create_answer_embedding.py(2KB)
--------create_embedding.py(2KB)
--------download_data.sh(539B)
--------process.sh(327B)
--------create_bert_embedding.py(934B)
--------__pycache__()
--------create_dictionary.py(2KB)
--------adaptive_detection_features_converter.py(6KB)
--------grad_check.py(1KB)
--------download.sh(2KB)
----README.md(7KB)
----__pycache__()
--------fc.cpython-36.pyc(2KB)
--------dataset.cpython-36.pyc(16KB)
--------Tensor.cpython-36.pyc(1KB)
--------bc.cpython-36.pyc(2KB)
--------trainer.cpython-36.pyc(9KB)
--------train_OE.cpython-36.pyc(5KB)
--------attention.cpython-36.pyc(6KB)
--------base_model.cpython-36.pyc(12KB)
--------meters.cpython-36.pyc(3KB)
--------counting.cpython-36.pyc(7KB)
--------language_model.cpython-36.pyc(3KB)
--------classifier.cpython-36.pyc(1KB)
--------dataset_MC.cpython-36.pyc(16KB)
--------activation.cpython-36.pyc(730B)
--------utils.cpython-36.pyc(13KB)
--------train.cpython-36.pyc(8KB)
--------trainer_OE.cpython-36.pyc(8KB)
--------dataset_OE.cpython-36.pyc(14KB)
--------loss_function.cpython-36.pyc(4KB)
--------base_model_OE.cpython-36.pyc(9KB)
--------trainer_fp16.cpython-36.pyc(5KB)
--------tc.cpython-36.pyc(6KB)
----sample_answerkey.csv(17KB)
----misc()
--------Multiple-Choice-VQA.png(201KB)
--------Free-form-Tri-attn.png(215KB)