文件名称：neurips-micronet:[JMLR 2020] NeurIPS 2019 MicroNet挑战高效语言建模，冠军
文件大小：6.07MB
文件格式：ZIP
更新时间：2024-05-28 13:27:41
natural-language-processing language-modeling pruning quantization knowledge-distillation
MicroNet：MIT-HAN-Lab小组 消息 我们的工作已被PMLR接受！ ; 。 Hanrui和Zhongxia在温哥华NeurIPS 2019上发表了关于挑战的（始于26:17）。 介绍 该代码库提供了用于提交给PMLR的代码，配置和命令，以表示我们在上的 2019 MicroNet挑战赛中的。 在可以找到我们提交给NeurIPS 2019 MicroNet Challenge的。 团队成员：闫中霞，王汉瑞，郭德米，宋寒。 我们的工作实现或改进了以下方法，将它们集成在一起以创建用于Wikitext-103任务的有效语言模型。 借助教师退火进行知识蒸馏 修剪：我们使用自动逐步修剪的Distiller实现 量化：我们使用Distiller实施基于对称范围的线性量化器的量化感知训练。 我们的最佳模型在使用1.8M 32位参数和8.8M 32位数学运算的同时，在Wikitext