文件名称：transformer-embedder:基于PyTorch和:hugging_face:变形金刚的Word Level Transformer层
文件大小：21KB
文件格式：ZIP
更新时间：2024-04-27 08:58:56
python nlp natural-language-processing deep-learning tokenizer
变压器包埋机 基于PyTorch和Word的Word Level Transformer层 :hugging_face: 变形金刚。 如何使用 从安装库： pip install transformer-embedder 它提供了一个PyTorch层和一个令牌生成器，支持Huggingface的几乎所有预训练模型 库。 这是一个简单的示例： import transformer_embedder as tre tokenizer = tre . Tokenizer ( "bert-base-cased" ) model = tre . TransformerEmbedder ( "bert-base-cased" , subtoken_pooling = "mean" , output_layer = "sum" ) example = "This is a sample sentence" inputs
【文件预览】：
transformer-embedder-main
----.gitignore(5KB)
----setup.cfg(40B)
----README.md(10KB)
----.github()
--------workflows()
--------dependabot.yml(143B)
----.deepsource.toml(154B)
----transformer_embedder()
--------utils.py(9KB)
--------__init__.py(1KB)
--------embedder.py(9KB)
--------tokenizer.py(25KB)
----requirements.txt(55B)
----MANIFEST.in(25B)
----setup.py(963B)