d-bert:使用自然语言生成来蒸馏BERT

【文件属性】：
文件名称：d-bert:使用自然语言生成来蒸馏BERT
文件大小：1.9MB
文件格式：ZIP
更新时间：2021-05-09 04:59:27
Python D-BERT 该存储库提供了以下示例的实现：我们的原始BERT蒸馏技术，将，以及我们最新的基于文本生成的方法，即。 后者比前者更有效，尽管以计算效率为代价，需要多个GPU来微调Transformer-XL或GPT-2以构造传输集。 因此，我们以后将它们分别称为d-lite和d-heavy 。 公认的代码库处于混乱状态。 我们计划继续对其进行重构。 如果您仅需要我们第二篇论文中的数据，则可以下载。 转移套构造 我们的首要任务是构造一个传输集。 这两篇论文仅在此步骤上有所不同。 d-lite 使用pip install -r requirements.txt安装依赖项。 通过运行python -m dbert.distill.run.augment_data --dataset_file (the TSV dataset file) > (output file)或python -m