动态BERT（Dynamic BERT with Adaptive Width and Depth）【华为-诺亚实验室】.pdf

【文件属性】：

文件名称：动态BERT（Dynamic BERT with Adaptive Width and Depth）【华为-诺亚实验室】.pdf

文件大小：1.22MB

文件格式：PDF

更新时间：2023-05-04 12:29:37

动态BERT

在本文中，我们提出了一种新的动态BERT模型(简称DynaBERT)，它可以在自适应的宽度和深度上运行。DynaBERT的训练过程包括首先训练一个宽度自适应的BERT，然后通过从全尺寸的模型中提取知识到小的子网络中，允许自适应的宽度和深度。