Sentence-transformers 的 Rust 端口(https://github.com/UKPLab/sentence-transformers)

时间:2021-06-28 18:58:18
【文件属性】:
文件名称:Sentence-transformers 的 Rust 端口(https://github.com/UKPLab/sentence-transformers)
文件大小:29KB
文件格式:ZIP
更新时间:2021-06-28 18:58:18
nlp rust bert sentence-embeddings sentence-transformers 锈蚀使用rust-bert和tch-rs的句子转换器的 Rust 端口。支持rust-tokenizers和 Hugging Face 的tokenizers 。支持的型号distiluse-base-multilingual-cased :支持的语言:阿拉伯语、中文、荷兰语、英语、法语、德语、意大利语、韩语、波兰语、葡萄牙语、俄语、西班牙语、土耳其语。扩展 STS2017 上的性能:80.1基于DistilRoBERTa的分类器用法例子该 API 非常易于使用,使您能够以简单的方式创建高质量的多语言句子嵌入。通过指定模型的目录来加载带有权重的 SBert 模型:letmut home:PathBuf= env::current_dir ().unwrap (); home.push ("path-to-model" );您可以使用使用不同分词器的不同版本的模型:// To use Hugging Face tokenizerlet sbert_model= SBertHF::new (home.to_str ().unwrap ());// To use Rust-tokenizer
【文件预览】:
rust-sbert-master
----.gitignore(77B)
----README.md(3KB)
----utils()
--------prepare_models.py(2KB)
--------Dockerfile(781B)
--------prepare_distilroberta.py(870B)
--------test_sbert.py(1KB)
--------requirements.txt(37B)
--------prepare_distilbert.py(1KB)
----Cargo.toml(1KB)
----tests()
--------test_sbert.rs(10KB)
--------test_distilroberta.rs(3KB)
----LICENSE(11KB)
----.dockerignore(62B)
----src()
--------tokenizers()
--------bin()
--------lib.rs(1KB)
--------models()
--------layers()
----benches()
--------bench_sbert.rs(5KB)
--------bench_distilroberta.rs(2KB)
----.travis.yml(826B)

网友评论