文件名称：dual-mfa-vqa:VQA的共同参与区域和检测
文件大小：1.45MB
文件格式：ZIP
更新时间：2024-06-04 12:48:35
caffe torch vqa faster-rcnn object-detection
双MFA-VQA VQA的多模式乘法嵌入共同参与区域和检测。 该网络有两个关注分支，分别采用提议的乘法特征嵌入方案：一个分支参与*格式的图像区域，另一个分支参与用于对与问题相关的视觉特征进行编码的检测框。 对于VQA 1.0数据集，此当前代码可以在开放式测试中获得66.09 ，在测试标准拆分中获得69.97。 聚光灯 关于arXiv的论文： : Faster R-CNN预训练模型基于边界框的注意力 与整个图像和物体检测共同关注 多峰可乘嵌入特征方法 采用多GPU加速的火炬实施 依存关系 该代码的主要部分是用Lua编写的，并且需要 。 在安装了割炬之后，可以通过运行以下命令来安装这些依赖项： 安装相关的炬管库 cd ~/torch luarocks install loadcaffe luarocks install hdf5 pip install h5py luaroc
【文件预览】：
dual-mfa-vqa-master
----attention_map.png(1.08MB)
----prepro()
--------prepro_res_test.lua(4KB)
--------prepro_res_coco.lua(5KB)
--------prepro_res_train.lua(4KB)
--------prepro_seconds.lua(2KB)
----data_train-val_test-dev_2k()
--------prepro_vqa.py(12KB)
--------vqa_preprocess.py(7KB)
----train.lua(22KB)
----data_train_test-dev_2k()
--------prepro_vqa.py(13KB)
--------vqa_preprocess.py(7KB)
----eval.lua(10KB)
----faster-rcnn-vqa()
--------tools()
--------README.md(3KB)
----README.md(11KB)
----data_coco()
--------cocoqa_preprocess.py(4KB)
--------prepro_cocoqa.py(9KB)
----netdef()
--------FUS.lua(1KB)
--------MFA.lua(8KB)
--------ATT.lua(949B)
----model.png(282KB)
----vis_att()
--------vis_attention_demo.m(4KB)
--------vis_attention.m(4KB)
--------vis_prepro.py(1KB)
--------jsonlab-1.2()
----eval_vis_att.lua(11KB)
----metric()
--------gen_wups_input.py(2KB)
--------calculate_wups.py(5KB)
----misc()
--------RNNUtils.lua(7KB)
--------weight-init.lua(2KB)
--------myutils.lua(2KB)
----myeval.lua(2KB)