文件名称：MMT-Retrieval
文件大小：154KB
文件格式：ZIP
更新时间：2024-04-14 09:25:53
Python
MMT检索：使用多模式变压器（OSCAR，UNITER，M3P＆Co）进行图像检索及更多操作 该项目提供了一种简便的方法，可以使用最近经过预训练的多模式变压器（例如 ， 或进行图像搜索等）。 该代码主要用于图像文本检索。 尽管如此，除图像文本检索外，其他许多Vision +语言任务也应使用我们的代码即开即用或仅需少量更改即可完成。 当前还没有统一的方法来处理视觉输入，并且每个模型都使用自己的略有不同的方法。 我们为所有型号提供通用接口，并支持多种功能文件格式。 这大大简化了模型的运行过程。 我们的项目使您可以用几行代码来运行模型，并可以轻松地对自己的自定义模型进行微调。 我们还提供了经过微调的图像文本检索模型供下载，因此您可以直接上手。 查看。 引用与作者 如果您认为此存储库有帮助，请随时引用我们的出版物“ ： @article{geigle:2021:arxiv, auth
【文件预览】：
MMT-Retrieval-master
----requirements.txt(108B)
----NOTICE.txt(250B)
----mmt_retrieval()
--------util.py(4KB)
--------retrieval.py(7KB)
--------model()
--------evaluation()
--------losses()
--------multimodal_transformers()
--------mmt.py(27KB)
--------__init__.py(106B)
--------data()
----examples()
--------experiments()
--------applications()
----LICENSE(1KB)
----setup.cfg(39B)
----setup.py(1KB)
----README.md(11KB)
----.gitignore(2KB)
----documentation()
--------image_features.md(5KB)