文件名称：electra_electric:电子电器
文件大小：620KB
文件格式：ZIP
更新时间：2024-04-16 18:30:13
Python
电子 介绍 ELECTRA是一种用于自我监督的语言表示学习的方法。 它可以用于使用相对较少的计算来预训练变压器网络。 训练ELECTRA模型以区分由另一个神经网络生成的“真实”输入令牌与“伪”输入令牌，类似于的鉴别器。 即使在单个GPU上进行训练，ELECTRA仍可在小规模上获得出色的结果。 大规模地，ELECTRA在数据集上获得先进的结果。 有关详细的描述和实验结果，请参阅我们的ICLR 2020文件。 该存储库包含用于预训练ELECTRA的代码，包括单个GPU上的小型ELECTRA模型。 它还支持对下游任务进行微调ELECTRA，这些任务包括分类任务（例如 ），QA任务（例如 ）和序列标记任务（例如）。 该存储库还包含Electric的代码，Electra是受启发而开发的ELECTRA版本。 Electric提供了ELECTRA作为“负采样”的更原则的看法。 它还可以有效地生成文