文件名称:New-Pytorch-Chinese:中文文本摘要,基于pytorch,采用LCSTS数据集
文件大小:8.84MB
文件格式:ZIP
更新时间:2024-06-07 07:12:59
Python
基于Pytorch的中文文本摘要生成 开这个仓库的主要目的是记录一下自己实验过程和数据。 参考文本摘要领域大佬写的两篇论文: and ,然后参考另一位大佬修改的代码. 另外,在这里还是要感谢一下。这里的所有内容基本上没做什么修改(python读取文件的时候出现编码问题,我的猜想是大佬用的mac系统,类linux,所以对编码不敏感,我用windows的话就报错了。),最多修改了一下超参数,刚开始在自己windows笔记本上跑的话,确实有点吃力,设置的batch_size=10,好像后来还直接报cuda错误,我的猜想就是设置过大了,显存承受不了。说多了。直接看训练和测试效果吧。 实验结果 指标 验证集 测试集 ROUGE-1 34.06 31.87 ROUGE-2 16.46 15.47 ROUGE-L 33.83 30.93 0. 数据预处理 下载(提取码:g8c6 ),下载完之后放在根目
【文件预览】:
New-Pytorch-Chinese-master
----vocab(602KB)
----.dockerignore(37B)
----eval.sh(138B)
----train.py(17KB)
----.github()
--------workflows()
----train_rl.sh(118B)
----data_util()
--------logs()
--------config.py(706B)
--------batcher.py(15KB)
--------data.py(8KB)
--------log.py(837B)
----web.py(1KB)
----ci-test()
--------test.py(156B)
--------test_case.py(34B)
----requirements-ci.txt(46B)
----ci-test.sh(49B)
----model.py(8KB)
----requirements.txt(77B)
----dockerfile(491B)
----.idea()
--------misc.xml(200B)
--------New-Pytorch-Chinese.iml(798B)
--------encodings.xml(202B)
--------inspectionProfiles()
--------deployment.xml(560B)
--------modules.xml(290B)
--------.gitignore(223B)
--------vcs.xml(180B)
----train.sh(75B)
----train_util.py(1KB)
----LICENSE(1KB)
----eval.py(7KB)
----beam_search.py(8KB)
----test.sh(64B)
----README.md(24KB)
----requirements-web.txt(96B)
----data()
--------vocab(584KB)
--------test_0705000.txt(39KB)
--------all_vocab.txt(17.01MB)
----test_web.py(550B)
----docker-compose.yml(287B)
----.gitignore(153B)
----make_data_files.py(7KB)