文件名称：DeCLUTR:我们的论文“ DeCLUTR”中的相应代码
文件大小：94KB
文件格式：ZIP
更新时间：2024-05-14 10:30:26
natural-language-processing transformers pytorch metric-learning representation-learning
DeCLUTR：用于无监督文本表示的深度对比学习 我们论文的相应代码： 。 下面介绍了结果（作为下游和探测任务测试集的平均分数），以及现有的最新方法。 模型 需要带标签的数据吗？ 参数 嵌入。 暗淡。 下游（-SNLI） 探测 Δ 是的 38M 4096 76.00 72.58 -3.06 是的 1.47亿 512 78.89 66.70 -0.17 （“ roberta-base-nli-mean-tokens”） 是的 125M 768 77.19 63.22 -1.87 小型变压器（ ） 不 82M 768 72.58 74.57 -6.48 基于变压器的（） 不 125M 768 72.70 74.19 -6.36 DeCLUTR-small（ ） 不 82M 768 77.41 74.71 -1.65 基
【文件预览】：
DeCLUTR-master
----declutr()
--------predictor.py(663B)
--------encoder.py(5KB)
--------losses()
--------dataset_reader.py(8KB)
--------__init__.py(70B)
--------common()
--------model.py(10KB)
--------miners()
--------modules()
----.coveragerc(23B)
----pyproject.toml(328B)
----pytest.ini(95B)
----.github()
--------dependabot.yml(458B)
--------workflows()
----tests()
--------test_encoder.py(2KB)
--------conftest.py(1KB)
--------__init__.py(0B)
--------test_model.py(4KB)
--------common()
--------test_dataset_reader.py(4KB)
--------fixtures()
--------test_predictor.py(309B)
----.allennlp_plugins(7B)
----LICENSE(11KB)
----mypy.ini(100B)
----CONTRIBUTING.md(2KB)
----setup.py(2KB)
----.gitignore(2KB)
----README.md(14KB)
----scripts()
--------preprocess_openwebtext.py(5KB)
--------preprocess_wikitext_103.py(5KB)
--------save_pretrained_hf.py(2KB)
--------run_senteval.py(25KB)
----notebooks()
--------training.ipynb(9KB)
--------evaluating.ipynb(6KB)
--------embedding.ipynb(14KB)
----.flake8(559B)
----training_config()
--------transformer_mean.jsonnet(1KB)
--------mlm_only.jsonnet(3KB)
--------declutr_small.jsonnet(3KB)
--------declutr.jsonnet(3KB)
--------contrastive_only.jsonnet(3KB)
--------declutr_base.jsonnet(3KB)
--------transformer_cls.jsonnet(2KB)