Chart Parser 中 Earley's 算法的应用

时间:2023-12-16 08:31:14

1. 基本概念

1.1 状态 state

  • 上下文无关文法规则
  • 圆点 · (左边是已分析的,右边是未分析的;点在最右端表示完成状态,否则为未完成状态)
  • 状态的起止位置

1.2 基本操作/算子 operator

  • 预测 Predicator:若圆点右方是一个非终结符,那么以该终结符为左部的规则都有匹配的希望。
  • 扫描 Scanner:若圆点右方是一个终结符,那么圆点向右扫描一个字符。
  • 归约 Completer:若圆点右方没有符号,则表示当前状态所作的预测已经实现,因为可以将当前状态与已有包含当前状态的状态进行归约。

1.3 算子的形式定义

*α,β,γ是终结符或非终结符串 是终结符或非终结符串,其中α,β均 为空字符 可 i <= j <= k

  • Predicator:对于状态 Z -> α·Xβ[j,k](X 是非终结符),对于语法中每条形如 X -> γ 的规则,都可以形成一个新状态:X -> ·γ[k,k]
  • Scanner:对于状态 Z -> α·Xβ[j,k](X 是终结符),如果 X 与输入字符串中的第 k 个字符匹配,就形成一个新状态 Z -> αX·β[j,k+1]
  • Completer:对于一个已经完成的状态 Z -> γ·[j,k],如果已后状态集合中有形如 X -> α·Zβ[i,j]这样的状态,就形成一个新状态:X -> αZ·β[i,k]

2. 算法描述

设输入字符串长度为n, 字符间隔可记做0,1,2,…,n

(1)将文法规则中形如 S -> α 的规则形成状态: <S -> ·α[0,0]> 加入到状态集合中(种子状态/seed state)

(2)对当前分析句子的每个词,依次进行循环:

i)如果当前状态是[未完成状态],且点后不是终结符,则 执行Predicator;

ii)如果当前状态是[未完成状态],且点后是终结符,则 执行Scanner;

iii)如果当前状态是 如果当前状态是[完成状态],则 执行Completer;

(3)如果最后得到形如<S -> α·[0,n]>这样的状态,那么输入字符串被接受为合法的句子,否则分析失败

3. 示例

使用以下文法分析字符串 "I-I-|":

p : e '-|'

e : t

| e '-' t

t : f

| t '/' f

f : I

| '(' e ')'

(0)字符串长度为 4,因此分析表共有 4+1=5 个状态集,将所有种子状态加入状态集 0

(1)此时需要匹配的字符为 'I',首先对状态 e 执行 Scanner 操作后,产生状态 f

由于状态 f 处于完成状态,触发 Completer 操作。由于状态 f 的左部为非终结符 f ,因此对于状态集 0 中所有圆点右方第一个字母为 f 的状态,都可以产生一个新状态。继而由状态 d 得到了状态 g

此时状态 g 也处于完成状态,因为执行 Completer 操作,得到状态 h 和未编号状态 t : t·'/'f,0

状态 h 也处于完成状态,执行 Completer 得到状态 i 和未编号状态 p : e·'-|',0

(2)(3)(4)以此类推,填充每个状态集,最后得到的状态 p : e'-|'·,0 为完成状态,表示分析成功

此时回顾整张分析表,对所有在这次成功分析中有所贡献的状态进行编号。

Chart Parser 中 Earley's 算法的应用

注:

1. “基本概念”与“算法描述”两个部分参考了 http://ccl.pku.edu.cn/doubtfire/Course/Computational%20Linguistics/contents/Earley_Parsing.pdf

2. 例题取自 http://inst.eecs.berkeley.edu/~cs164/sp19/