文件名称：UER-py：PyTorch和预训练的模型动物园中的开源预训练模型框架
文件大小：23.48MB
文件格式：ZIP
更新时间：2024-02-24 08:59:10
nlp natural-language-processing pytorch classification chinese
| 预培训已成为NLP任务的重要组成部分，并带来了显着的进步。 UER-py（通用编码器表示形式）是用于对通用域语料库进行预训练并针对下游任务进行微调的工具包。 UER-py保持模型模块化并支持研究的可扩展性。 它有助于使用不同的预训练模型（例如BERT，GPT，ELMO），并为用户提供了进一步扩展的界面。 使用UER-py，我们建立了一个模型动物园，其中包含基于不同语料库，编码器和目标的预训练模型。 最近，我们收到了经过预训练的[中国36层RoBERTa]（ ）和[中国36层RoBERTa-WWM]（ ）模型使用腾讯云TI-ONE（有关详细配置，请参阅models / bert_xlarge_config.json）。 有人告诉我们，36层RoBERTa在某些下游任务（例如XNLI和CMRC2018）上取得了改进，并且具有更多语料库和训练步骤的模型将在不久的将来发布。 我们期待用户对此模型的反馈。 对于大型模型，我们建议使用较小的学习率（例如1e-5）。 目录 产品特点 UER-py具有以下功能： 重现性。 UER-py已在许多数据集上进行了测试，应该与原始预训练模型实现