rc2020_electra:2020年ML再现性挑战

【文件属性】：
文件名称：rc2020_electra:2020年ML再现性挑战
文件大小：547KB
文件格式：ZIP
更新时间：2021-04-01 21:55:40
Python ： 复制 该存储库包含在PyTorch中为所做的重新实现。 此项目是在课程的一部分中进行的。 预处理过程通过命令行进行嵌入和缓存，以进行预训练和下游任务。 通过此还可以提供带有1M步训练的预训练模型。 这项工作利用了HuggingFace库（变压器，数据集，令牌生成器）和PyTorch（1.7.1）。 有关更多信息，请参阅相关的[论文（正在审核）]（稍后添加）。 主要结果 我的结果与原始的ELECTRA的实现类似（Clark等人[2020]），尽管与两种实现的原始论文相比都存在细微的差异。 仅14M的参数，ELECTRA就绝对性能而言，胜过某些先前SOTA的并行预训练方法（例如GPT）或使用知识蒸馏的替代有效方法（例如DistilBERT）。 考虑到计算成本，ELECTRA明显优于包括BERT和TinyBERT在内的所有比较方法。 因此，这项工作支持了ELECTRA在计算资源低的情

【文件预览】：
rc2020_electra-latest_branch
----run_glue.py(3KB)
----.github()
--------workflows()
----models()
--------ByteLevelBPETokenizer-vocab_size=30522-min_frequency=2(1.22MB)
----run_downstream.py(294B)
----src()
--------models()
--------features()
--------data()
--------visualization()
----images()
--------Electra RC2020 - Learning - Original.png(88KB)
--------Electra RC2020 - Learning.png(70KB)
----run_pretraining.py(293B)
----requirements.txt(292B)
----LICENSE(1KB)
----README.md(7KB)
----.gitignore(2KB)
----env.yml(5KB)
----train_tokenizer.py(275B)