一文揭开ALBERT的神秘面纱

【文件属性】：
文件名称：一文揭开ALBERT的神秘面纱
文件大小：535KB
文件格式：PDF
更新时间：2021-01-20 11:32:19
维度 本文是我对ALBERT论文的一个总结归纳，如有理解上的偏差、错误欢迎大家指正批评，感谢。 前言 RoBERTa没霸榜几天，这不Google爸爸就又放大招，这次的新模型不再是简单的的升级，而是采用了全新的参数共享机制，反观其他升级版BERT模型，基本都是添加了更多的预训练任务，增大数据量等轻微的改动。这次ALBERT的改进，不仅提升了模型的整体效果再一次拿下来各项榜单的榜首，而且参数量相比BERT来说少了很多。 对于预训练模型来说，提升模型的大小是能对下游任务的效果有一定提升，然而如果进一步提升模型规模，势必会导致显存或者内存出现OOM的问题，长时间的训练也可能导致模型出现退化的情况。为了解决这