文件名称：ConvBert
文件大小：189KB
文件格式：ZIP
更新时间：2024-04-08 00:25:03
Python
转换码 介绍 在此仓库中，我们介绍了一种用于基于预训练的语言模型的新架构ConvBERT 。该代码在V100 GPU上进行了测试。有关详细说明和实验结果，请参阅我们的NeurIPS 2020论文 。 要求 的Python 3 张量流1.15 麻木 scikit学习 实验 预训练 这些指令使用语料库对中小型ConvBERT模型（17M参数）进行了。 要构建tf-record并对其进行预训练，请下载语料库（12G），并在build_data.sh和pretrain.sh设置数据目录。然后跑 bash build_data.sh 处理后的数据大约需要30G的磁盘空间。然后，要预训练模型，请运行 bash pretrain.sh 有关受支持的超参数的详细信息，请参见configure_pretraining.py 。 细调 我们给出了在GLUE上微调预训练的中小型ConvBERT模型（17M参数）
【文件预览】：
ConvBert-master
----model()
--------tokenization.py(10KB)
--------__init__.py(15B)
--------optimization.py(6KB)
--------modeling.py(52KB)
----download_glue_data.py(7KB)
----build_data.sh(330B)
----finetune.sh(244B)
----pretrain()
--------pretrain_helpers.py(8KB)
--------__init__.py(15B)
--------pretrain_data.py(5KB)
----vocab.txt(260KB)
----run_finetuning.py(12KB)
----LICENSE(2KB)
----pretrain.sh(376B)
----util()
--------training_utils.py(4KB)
--------__init__.py(14B)
--------utils.py(2KB)
----README.md(3KB)
----run_pretraining.py(16KB)
----build_pretraining_dataset.py(8KB)
----configure_finetuning.py(7KB)
----configure_pretraining.py(5KB)
----build_openwebtext_pretraining_dataset.py(3KB)
----finetune()
--------preprocessing.py(6KB)
--------task_builder.py(2KB)
--------__init__.py(14B)
--------feature_spec.py(1KB)
--------task.py(1KB)
--------classification()
--------qa()
--------scorer.py(925B)
--------tagging()