文件名称:cky-parser-optimization:乌普萨拉大学语法分析课的作业和材料
文件大小:3.65MB
文件格式:ZIP
更新时间:2024-02-25 10:20:07
nlp course university parsing language-processing
CKY解析时间优化 解析算法本身几乎没有机会显着提高(基本)速度,同时又保证返回最佳解析。 在对行,列和单元格进行迭代的过程中,解析表中的查找是最昂贵的操作。 由于图表通常表示为列表列表,因此基于索引的访问将非常快。 同样,这些单元在此处被实现为一个字典,从符号到有关其构造(后指针)和概率的信息。 每个匹配的规则对字典的值的访问次数不得超过两次,并且将符号信息表示为ChartItem类的对象,以确保效率,同时保持代码的可读性。 如果不使用修剪或启发式技术,则算法本身很难进一步优化。 另一方面,可以改进PCFG的实现,以大大加快解析过程。 实际上,我设法将解析测试集的时间从大约31小时优化为只
【文件预览】:
cky-parser-optimization-master
----data()
--------dev.dat(51KB)
--------dev.raw(12KB)
--------train.dat(20.81MB)
----tests()
--------pytest.ini(63B)
--------unit()
----LICENSE(16KB)
----Report.pdf(325KB)
----pcfg_parser()
--------treebank()
--------__init__.py(0B)
--------scripts()
--------parser()
----requirements.txt(69B)
----setup.py(581B)
----.gitignore(1KB)
----Makefile(1KB)
----README.md(15KB)