CLIP:对比语言-图像预训练

时间:2021-03-08 10:53:36
【文件属性】:
文件名称:CLIP:对比语言-图像预训练
文件大小:3.87MB
文件格式:ZIP
更新时间:2021-03-08 10:53:36
JupyterNotebook 夹子 CLIP(对比语言-图像预训练)是在各种(图像,文本)对上训练的神经网络。 可以用自然语言指示它来预测给定图像的最相关的文本片段,而无需直接针对任务进行优化,类似于GPT-2和3的零射功能。我们发现CLIP与原始ResNet50的性能匹配无需使用任何原始的1.28M标记示例,就可以在ImageNet上实现“零镜头”,从而克服了计算机视觉方面的几个主要挑战。 方法 用法 首先,和torchvision,以及小的附加依赖项,然后将此回购作为Python软件包安装。 在CUDA GPU机器上,以下方法可以解决问题: $ conda install --yes -c pytorch pytorch=1.7.1 torchvision cudatoolkit=11.0 $ pip install ftfy regex tqdm $ pip install git+https://githu
【文件预览】:
CLIP-main
----MANIFEST.in(42B)
----notebooks()
--------Prompt_Engineering_for_ImageNet.ipynb(61KB)
--------Interacting_with_CLIP.ipynb(3.14MB)
----requirements.txt(48B)
----LICENSE(1KB)
----model-card.md(7KB)
----clip()
--------clip.py(7KB)
--------model.py(17KB)
--------__init__.py(20B)
--------simple_tokenizer.py(5KB)
--------bpe_simple_vocab_16e6.txt.gz(1.29MB)
----setup.py(491B)
----README.md(7KB)
----CLIP.png(247KB)
----tests()
--------test_consistency.py(802B)
----.gitignore(105B)

网友评论