9.2处理特征结构
这一节内容为如何构建特征结构以及在NLTK中操作。
NLTK提供了特征结构使用的构造函数FeatStruct()声明。
>>>fs1 = nltk.FeatStruct(TENSE='past',NUM='sg') >>>print fs1 [ NUM = 'sg' ] [ TENSE= 'past' ]
将特征结构作为图来查看往往是有用的（有向无环图）
也会出现结构共享，或者重入。如图：
当两条路径具有相同的值时，被称为等价。
在代码中表示结构共享，如下所示：
>>>print nltk.FeatStruct("""[NAME='Lee',ADDRESS=(1)[NUMBER=74,STREET='ruePascal'], ... SPOUSE=[NAME='Kim', ADDRESS->(1)]]""") [ ADDRESS= (1) [ NUMBER= 74 ] ] [ [ STREET = 'rue Pascal'] ] [ ] [ NAME = 'Lee' ] [ ] [ SPOUSE =[ ADDRESS-> (1) ] ] [ [ NAME = 'Kim' ] ]
包含和统一
包含：一个更一般的特征结构包含一个较少一般的。
统一：合并两个特征结构的信息被成为统一。
>>>fs1 = nltk.FeatStruct(NUMBER=74,STREET='ruePascal') >>>fs2 = nltk.FeatStruct(CITY='Paris') >>>print fs1.unify(fs2) [ CITY = 'Paris' ] [ NUMBER=74 ] [ STREET= 'rue Pascal']
结构共享也可以使用变量表示，如?x
>>>fs1 = nltk.FeatStruct("[ADDRESS1=[NUMBER=74, STREET='ruePascal']]") >>>fs2 = nltk.FeatStruct("[ADDRESS1=?x,ADDRESS2=?x]") >>>print fs2 [ ADDRESS1= ?x ] [ ADDRESS2= ?x ] >>>print fs2.unify(fs1) [ ADDRESS1= (1) [ NUMBER= 74 ] ] [ [ STREET= 'rue Pascal'] ] [ ] [ ADDRESS2-> (1)
9.3扩展基于特征的文法
在本节，将会探索各种语言问题，并展示将特征纳入文法的好处。
子类别
VP[TENSE=?t,NUM=?n]-> V[SUBCAT=intrans,TENSE=?t,NUM=?n] VP[TENSE=?t,NUM=?n]-> V[SUBCAT=trans,TENSE=?t,NUM=?n]NP VP[TENSE=?t,NUM=?n]-> V[SUBCAT=clause,TENSE=?t,NUM=?n]SBar V[SUBCAT=intrans,TENSE=pres,NUM=sg]-> 'disappears' | 'walks' V[SUBCAT=trans,TENSE=pres,NUM=sg]-> 'sees' | 'likes' V[SUBCAT=clause,TENSE=pres,NUM=sg]-> 'says' | 'claims' V[SUBCAT=intrans,TENSE=pres,NUM=pl]-> 'disappear' | 'walk' V[SUBCAT=trans,TENSE=pres,NUM=pl]-> 'see' | 'like' V[SUBCAT=clause,TENSE=pres,NUM=pl]-> 'say' | 'claim' V[SUBCAT=intrans,TENSE=past]-> 'disappeared' | 'walked' V[SUBCAT=trans,TENSE=past]-> 'saw' | 'liked' V[SUBCAT=clause,TENSE=past]-> 'said' | 'claimed'
SBar代表从句标签。
SBar-> CompS Comp-> 'that'
You claim that youlike children.这句话的产生的结构如下：
例如这句话：put the book on the table
可以表示为：
V[SUBCAT=<NP,NP,PP>]
其中，NP代表主语，后面跟着PP的NP，补语子类别。
所以，Kimput the bookonthe table，这句话可以被解析为：
核心词回顾
X-bar句法通过抽象出短语级别的概念。通常认为有三个级别。
例如，如图所示：
结构36a的核心词是N，N",N'被称为N的投影。N"是最大的投影，N有时也称作零投影。
一个词汇核心X的直接补语子类别总是位于核心词的兄弟的位置，而修饰成分位于中间类别X'的兄弟的位置。
S -> N[BAR=2]V[BAR=2] N[BAR=2]-> DetN[BAR=1] N[BAR=1]-> N[BAR=1]P[BAR=2] N[BAR=1]-> N[BAR=0]P[BAR=2]
助动词与倒装
(39)a. Doyoulike children? b.CanJodywalk? (40)a. Rarelydoyousee Kim. b.NeverhaveI seen this dog.
但是不是什么动词都能放在前面的。可以放在从句开头的术语叫做助动词。例如：do can have，也包括be,will,shall
我们可以使用下面这个表达式：
S[+INV]-> V[+AUX] NP VP
标记[+inv]说明，包含一个助动词。
AUX区分是否是助动词。
SUBCAT代表子类别。
无限制依赖成分
填充词和缺口之间的距离没有上界。这一事实可以很容易地使用包含句子补语的成分来说明。
a. Who do you like __?
b.Who do you claim that you like __?
c.Who do you claim that Jody says that you like __?
广义短语文法中处理形式化文法的无限依赖：
一个斜线类别的形式是Y/XP；我们解释为：类别Y的短语缺少一个类别XP的子成分。例如：S/NP是缺少一个NP的S。
>>>nltk.data.show_cfg('grammars/book_grammars/feat1.fcfg') %start S #################### #GrammarProductions #################### S[-INV] -> NPVP S[-INV]/?x -> NPVP/?x S[-INV] -> NPS/NP S[-INV] -> Adv[+NEG]S[+INV] S[+INV]-> V[+AUX]NPVP S[+INV]/?x-> V[+AUX]NPVP/?x SBar-> CompS[-INV] SBar/?x-> CompS[-INV]/?x VP-> V[SUBCAT=intrans,-AUX] VP-> V[SUBCAT=trans,-AUX] NP VP/?x-> V[SUBCAT=trans,-AUX] NP/?x VP-> V[SUBCAT=clause,-AUX] SBar VP/?x-> V[SUBCAT=clause,-AUX] SBar/?x VP-> V[+AUX]VP VP/?x-> V[+AUX]VP/?x #################### #LexicalProductions #################### V[SUBCAT=intrans,-AUX] -> 'walk' | 'sing' V[SUBCAT=trans,-AUX] -> 'see' | 'like' V[SUBCAT=clause,-AUX] -> 'say' | 'claim' V[+AUX]-> 'do' | 'can' NP[-WH]-> 'you' | 'cats' NP[+WH]-> 'who' Adv[+NEG]-> 'rarely' | 'never' NP/NP-> Comp-> 'that'
使用文法来解析句子：
>>>tokens = 'who doyouclaim that youlike'.split() >>>from nltk import load_parser >>>cp = load_parser('grammars/book_grammars/feat1.fcfg') >>>for tree in cp.nbest_parse(tokens): ... print tree (S[-INV] (NP[+WH] who) (S[+INV]/NP[] (V[+AUX] do) (NP[-WH] you) (VP[]/NP[] (V[-AUX, SUBCAT='clause']claim) (SBar[]/NP[] (Comp[] that) (S[-INV]/NP[] (NP[-WH] you) (VP[]/NP[] (V[-AUX, SUBCAT='trans']like) (NP[]/NP[] )))))))