文件名称：CokeBERT：CokeBERT：上下文知识选择和嵌入增强的预训练语言模型
文件大小：105.25MB
文件格式：ZIP
更新时间：2024-03-09 12:25:28
Python
可口可乐 CokeBERT：上下文知识选择和嵌入增强的预训练语言模型 要求： 火炬> = 0.4.1 Python3 tqdm boto3 要求 Apex（如果要使用fp16，则必须确保提交为880ab925bce9f817a93988b021e12db5f67f7787。我们已经在源代码中提供了此版本的顶点）。您必须使用环境并执行以下操作： Python 3.6.9 pytorch 1.2.0 gcc 7.5.0 cd apex python3 setup.py install --user --cuda_ext --cpp_ext 准备经过预先训练和微调的数据 我们将提供数据集进行预训练。 如果你想使用最新的数据，恳求按照pipline预先处理您的数据。 在对预训练的数据进行预处理之后，将它们移至相应的目录 基于BERT / RoBERTA的 mv merge.bin