文件名称:expected-edit-distance:使用 OpenFst 工具实现预期的编辑距离
文件大小:4KB
文件格式:ZIP
更新时间:2024-06-26 07:56:48
Python
预期编辑距离 使用 OpenFst 工具实现预期的编辑距离。 我们使用以下算法计算对数半环上两个非循环概率有限状态自动机X和Y之间的预期编辑距离: D(X,Y) = ShortestDistLog(-DetTrop(RmEpsTrop(Sync(-DetLog(X o T o Y))))) 其中T是表示编辑成本函数的对数半环上的加权转换器。 原始算法来自 。 论文中的算法与此处实现的算法之间存在一些小的差异。 我们在具有倒置权重的热带半环下执行 epsilon 去除操作,而不是具有常规权重的对数半环。 此外,我们将非常高成本的自映射弧插入到T ,当权重反转时,这最终会成为非常低成本的弧,因此如果X和Y接受相同的字符串x ,则D(x,x) ≈ 0 。
【文件预览】:
expected-edit-distance-master
----vocab2edit.py(1KB)
----LICENSE(1KB)
----dist.sh(477B)
----README.md(1KB)
----test()
--------vocab(8B)
--------x.txt(26B)
--------run.sh(474B)
--------y.txt(26B)
--------syms(21B)