文件名称：FastBERT:对ACL2020 FastBERT论文的复现，论文地址arxiv.orgpdf2004.02178.pdf
文件大小：2.34MB
文件格式：ZIP
更新时间：2024-04-20 21:48:06
bert acl2020 fastbert Python
FastBert，复现ACL2020论文 注：已收到多个反馈，分类数量很多时，FastBert加速效果不明显，请根据实际情况应用 简介 相比一众BERT蒸馏方法，FastBERT的蒸馏过程和具体任务一起进行, 且主干BERT网络不变，有如下优点: 1. 准确率损失较小, 加速比约1~10倍, 2. 和BERT预训练模型兼容，可灵活替换各种预训练模型，如ernie 3. 使用简单, 较为实用 适用于文本分类任务，想要用BERT提升效果但受限于机器资源的场景 使用方法 下载pretrain的bert模型： ， 放至目录./pretrained_model/bert-chinese/bert-pytorch-google/下 ，放至目录./pretrained_model/ernie/ERNIE_stable-1.0.1-pytorch/下 1. 初始训练:
【文件预览】：
FastBERT-master
----train.py(12KB)
----pretrained_model()
--------bert-chinese()
--------ernie()
----img()
--------compare.png(201KB)
--------arch.png(272KB)
----utils.py(3KB)
----infer.py(7KB)
----predict.py(3KB)
----saved_model()
--------README.md(93B)
----config()
--------fastbert_cls.json(530B)
--------fastbert_cls_ernie.json(521B)
----run_scripts()
--------script_infer.sh(321B)
--------script_eval.sh(292B)
--------script_train_stage1.sh(453B)
--------script_train_stage0.sh(385B)
----README.md(3KB)
----sample()
--------ChnSentiCorp()
----model_define()
--------model_bert.py(15KB)
--------optimization.py(7KB)
--------model_fastbert.py(21KB)
----data_utils()
--------tokenization.py(11KB)
--------dataset_preparing.py(2KB)