【文件属性】：
文件名称：RecAdam:RecAdam纸的代码
文件大小：17KB
文件格式：ZIP
更新时间：2021-03-08 13:12:02
Python
雷亚当
介绍
我们提供了RecAdam （召回亚当）优化器，以促进微调深度预训练的语言模型（例如BERT，ALBERT），从而减少遗忘。
有关详细的描述和实验结果，请参阅我们的论文：（EMNLP 2020接受）。
环境
python > = 3.6
pytorch > = 1.0.0
transformers > = 2.5.1
档案文件
RecAdam.py ：此文件包括RecAdam优化器实现，该实现由从AdamW优化器实现修改而来。
run_glue_with_RecAdam.py ：此文件是使用RecAdam优化器运行GLUE任务的示例，由从GLUE示例了。
运行GLUE任务
可以通过运行从下载GLUE任务，并将其解压缩到某个目录$GLUE_DIR 。
使用ALBERT-xxlarge模型
对于ALBERT-xxlarge，我们在之后使用相同的超参数，但最大序列长度设置为128
【文件预览】：
RecAdam-master
----RecAdam.py(7KB)
----run_glue_with_RecAdam.py(36KB)
----LICENSE(11KB)
----README.md(5KB)