文件名称:nlp_cloze_test:用word2vec做完形填空
文件大小:87KB
文件格式:ZIP
更新时间:2024-05-29 17:20:50
Python
问题描述 在语义连贯的句子中去掉一个词语,形成空格,要求在给出的对应备选答案中,系统 自动选出一个最佳的答案,使语句恢复完整。 相关语料 1、 train_data文件夹: 1.常老师提供的522个txt格式的文件 2.从 一共有811个训练文本 2、 test_data文件夹: 1、 Development_set: 一份含有 240 句话的语料及答案 2、 test_set: 一份含有 800 句话的测试语料,每句话有一个空格和 5 个备选答案 3、 middle_data文件夹: 存放数据预处理后的文本文件,方便进行后续训练 4、 model文件夹: 存放模型 5、data_preprocess.py 进行数据预处理 6、train_model.py 模型训练 7、test_data_score.py 输出测试集的准确率和输出结果文件 评测方法 准确率=正确填空句子的个数/全部句子的
【文件预览】:
nlp_cloze_test-master
----data_preprocess.py(5KB)
----train_model.py(1KB)
----main.py(1KB)
----test_data_score.py(3KB)
----__pycache__()
--------test_data_score.cpython-36.pyc(2KB)
--------data_preprocess.cpython-36.pyc(4KB)
--------train_model.cpython-36.pyc(1KB)
----test_data()
--------development_set.txt(40KB)
--------test_set.txt(132KB)
--------development_set_answers.txt(4KB)
--------test_set_ans.txt(11KB)
----readme.md(957B)