BERT-whitening-pytorch:Pytorch版本的BERT白化

时间:2024-04-21 10:48:43
【文件属性】:

文件名称:BERT-whitening-pytorch:Pytorch版本的BERT白化

文件大小:24.01MB

文件格式:ZIP

更新时间:2024-04-21 10:48:43

Python

BERT增白 这是“美化的Pytorch实施。 BERT增白在文本语义搜索中非常实用,其中增白操作不仅提高了无监督语义矢量匹配的性能,而且减小了矢量维,有利于减少内存使用量,提高矢量搜索引擎的检索效率,例如,FAISS。 这种方法最早是由苏建林在他的博客中提出的 。 重现实验结果 准备 下载数据集: $ cd data/ $ ./download_datasets.sh $ cd ../ 下载型号: $ cd model/ $ ./download_models.sh $ cd ../ 下载数据集和模型文件后, data/和model/目录如下: ├── data │ ├── AllNLI.tsv │ ├── download_datasets.sh │ └── downstream │ ├── COCO │ ├── CR │


【文件预览】:
BERT-whitening-pytorch-main
----run_example.py(6KB)
----model()
--------download_models.sh(1KB)
----run.sh(361B)
----all_utils.py(3KB)
----eval_with_whitening(nli).py(5KB)
----whiten()
--------bert-large-uncased-first_last_avg-whiten(NLI).pkl(8MB)
--------bert-base-nli-mean-tokens-first_last_avg-whiten(NLI).pkl(4.5MB)
--------bert-large-nli-mean-tokens-first_last_avg-whiten(NLI).pkl(8MB)
--------bert-base-uncased-first_last_avg-whiten(NLI).pkl(4.5MB)
----LICENSE(1KB)
----README.md(4KB)
----eval_with_whitening(target).py(4KB)
----senteval()
--------mrpc.py(4KB)
--------engine.py(6KB)
--------sick.py(12KB)
--------trec.py(3KB)
--------sst.py(4KB)
--------utils.py(3KB)
--------__init__.py(264B)
--------rank.py(5KB)
--------tools()
--------binary.py(4KB)
--------probing.py(7KB)
--------snli.py(4KB)
--------sts.py(8KB)
----data()
--------downstream()
--------download_datasets.sh(181B)
----train_whiten(nli).py(2KB)
----eval_without_whitening.py(3KB)
----.gitignore(1KB)

网友评论