文件名称：RecAdam:RecAdam纸的代码
文件大小：17KB
文件格式：ZIP
更新时间：2024-03-28 06:58:42
Python
雷亚当 介绍 我们提供了RecAdam （召回亚当）优化器，以促进微调深度预训练的语言模型（例如BERT，ALBERT），从而减少遗忘。 有关详细的描述和实验结果，请参阅我们的论文：（EMNLP 2020接受）。 环境 python > = 3.6 pytorch > = 1.0.0 transformers > = 2.5.1 档案文件 RecAdam.py ：此文件包括RecAdam优化器实现，该实现由从AdamW优化器实现修改而来。 run_glue_with_RecAdam.py ：此文件是使用RecAdam优化器运行GLUE任务的示例，由从GLUE示例了。 运行GLUE任务 可以通过运行从下载GLUE任务，并将其解压缩到某个目录$GLUE_DIR 。 使用ALBERT-xxlarge模型 对于ALBERT-xxlarge，我们在之后使用相同的超参数，但最大序列长度设置为128
【文件预览】：
RecAdam-master
----RecAdam.py(7KB)
----run_glue_with_RecAdam.py(36KB)
----LICENSE(11KB)
----README.md(5KB)