cogs-pretrained-lms:在COGS基准上使用预训练的LM进行实验

时间:2024-04-19 15:06:59
【文件属性】:

文件名称:cogs-pretrained-lms:在COGS基准上使用预训练的LM进行实验

文件大小:4.26MB

文件格式:ZIP

更新时间:2024-04-19 15:06:59

Python

使用预训练的语言模型进行语义解释 首先,从源代码安装huggestface 和库。 此处的代码改编自“ 存储库。 我已经将所有拆分预处理并保存在目录内的json文件中。 要在COGS训练集上微调一个预先训练的小型T5模型,然后在泛化集上进行评估,请运行例如: python -u run_translation.py \ --model_name_or_path t5-small \ --use_pretrained_weights True \ --do_train \ --do_predict \ --source_lang en \ --target_lang en \ --finetune_target_lang mentalese \ --source_prefix "translate English to En


【文件预览】:
cogs-pretrained-lms-master
----run_mbart.sh(890B)
----results()
--------accuracies_t5-small_pretrained.json(720B)
--------accuracies_t5-large_pretrained.json(725B)
--------accuracies_t5-base_scratch.json(715B)
--------accuracies_t5-small_scratch.json(721B)
--------accuracies_t5-large_scratch.json(716B)
--------accuracies_t5-base_pretrained.json(724B)
----run_t5.sh(909B)
----requirements.txt(300B)
----README.md(2KB)
----run_m2m100.sh(876B)
----gen_conditions.txt(539KB)
----data()
--------train100testdev.json(7.15MB)
--------train_100.json(6MB)
--------test.json(588KB)
--------dev.json(589KB)
--------traintestdev.json(5.73MB)
--------debug.json(0B)
--------gen.json(5.67MB)
--------train.json(4.58MB)
----.gitignore(71B)
----run_translation.py(27KB)

网友评论