spacy变压器:spa在空间中使用像BERT,XLNet和GPT-2这样的预训练变压器

时间:2024-02-24 09:09:00
【文件属性】:

文件名称:spacy变压器:spa在空间中使用像BERT,XLNet和GPT-2这样的预训练变压器

文件大小:48KB

文件格式:ZIP

更新时间:2024-02-24 09:09:00

nlp machine-learning natural-language-processing google pytorch

spacy-transformers:在spaCy中使用像BERT,XLNet和GPT-2这样的预训练变压器 该软件包提供组件和体系结构,以通过spaCy中的使用变压器模型。 结果是可以方便地访问最新的变压器架构,例如BERT,GPT-2,XLNet等。 此版本需要 。 有关该库的先前版本,请参见。 产品特点 使用诸如BERT , RoBERTa和XLNet之类的经过预训练的变压器模型为您的spaCy管道供电。 轻松的多任务学习:从多个管道组件反向支持到一个变压器模型。 使用spaCy v3强大且可扩展的配置系统进行培训。 变压器输出自动对齐到spaCy的标记。 轻松自定义将哪些变压器数据保存在Doc对象中。 轻松自定义文档处理时间。 开箱即用的序列化和模型打包。 :rocket: 安装 从pip安装软件包将自动安装所有依赖项,包括PyTorch和spaCy。 在安装模型之前,请确保安装此软件包。 另请注意,此软件包需要Python 3.6 + , PyTorch v1.5 +和spaCy v3.0 + 。 pip install spacy[transformers


【文件预览】:
spacy-transformers-master
----MANIFEST.in(34B)
----bin()
--------push-tag.sh(351B)
--------get-version.sh(205B)
----.github()
--------workflows()
--------no-response.yml(725B)
----LICENSE(1KB)
----spacy_transformers()
--------span_getters.py(2KB)
--------truncate.py(4KB)
--------align.py(7KB)
--------tests()
--------util.py(5KB)
--------__init__.py(499B)
--------data_classes.py(12KB)
--------layers()
--------pipeline_component.py(16KB)
--------architectures.py(4KB)
--------annotation_setters.py(654B)
----azure-pipelines.yml(1KB)
----setup.cfg(3KB)
----requirements.txt(307B)
----examples()
--------train_from_config.py(562B)
--------configs()
----setup.py(179B)
----.gitignore(2KB)
----Makefile(728B)
----README.md(4KB)

网友评论