【文件属性】：
文件名称：transformer-embedder:基于PyTorch和:hugging_face:变形金刚的Word Level Transformer层
文件大小：21KB
文件格式：ZIP
更新时间：2021-04-07 15:12:16
python nlp natural-language-processing deep-learning tokenizer
变压器包埋机
基于PyTorch和Word的Word Level Transformer层 :hugging_face: 变形金刚。
如何使用
从安装库：
pip install transformer-embedder
它提供了一个PyTorch层和一个令牌生成器，支持Huggingface的几乎所有预训练模型 库。 这是一个简单的示例：
import transformer_embedder as tre
tokenizer = tre . Tokenizer ( "bert-base-cased" )
model = tre . TransformerEmbedder ( "bert-base-cased" , subtoken_pooling = "mean" , output_layer = "sum" )
example = "This is a sample sentence"
inputs
【文件预览】：
transformer-embedder-main
----.gitignore(5KB)
----setup.cfg(40B)
----README.md(10KB)
----.github()
--------workflows()
--------dependabot.yml(143B)
----.deepsource.toml(154B)
----transformer_embedder()
--------utils.py(9KB)
--------__init__.py(1KB)
--------embedder.py(9KB)
--------tokenizer.py(25KB)
----requirements.txt(55B)
----MANIFEST.in(25B)
----setup.py(963B)