文件名称：FreeLB:自然语言理解的对抗训练
文件大小：6.39MB
文件格式：ZIP
更新时间：2024-05-13 03:40:47
natural-language adversarial iclr2020 freelb Python
介绍 此存储库包含基于和库的GLUE任务上./fairseq-RoBERTa/ ，分别在./fairseq-RoBERTa/和./huggingface-transformers/下。 我们还在我们的fairseq版本中集成了香草PGD， 和的实现。 FreeLB是一种对抗训练方法，用于在自然语言理解任务上改进基于转换器的语言模型。 它在上升步骤中累积梯度，并使用累积的梯度更新参数，这大约等同于在干净输入周围的不同半径内使用多样化的对抗示例来扩大批次大小。 FreeLB在各种自然语言理解任务（包括问题回答，自然语言推理和情感分析）上提高了BERT和RoBERTa的性能。 有关技术细节和其他实验结果，请参考我们的论文： Chen Zhu，Yu Cheng，Zhe Gan，Sun Siqi，Tom Goldstein和Liujingjing。 。 在ICLR中，2020年。 什么是新的 2