《PYTHON自然语言处理》第3章 处理原始文本
更多更复杂有关处理HTML内容 http://www.crummy.com/software/BeautifulSoup/
3.11 深入阅读
PEP-100 http://www.python.org/dev/peps/pep-0100/
http://amk.ca/
Frederik Lundh, Python Unicode Objects, http://effbot.org/zone/unicode-objects.htm
Joel Spolsky, The Absolute Minimum Every Software Developer Absolutely, Posi-tively Must Know About Unicode and Character Sets (No Excuses!), http://www.joelonsoftware.com/articles/Unicode.html
http://sighan.org/
http://www.aclweb.org/
3.12 练习
1
s = 'colorless'
s[:4] + 'u' + s[4:]
2
s = ['dishes', 'running', 'nationality', 'undo', 'preheat']
s[0][:4]
s[1][:3]
s[2][:6]
s[3][2:]
s[4][3:]
3 负数索引会回绕，s[-1]是字符串最后一个字符。
4、5
monty = 'Monty Python'
monty[6:11:2] => 'Pto'
第一个是起点，第二个是终点，第三个是步长。
monty[10:5:-2] => 'otP'
步长为负，反方向（左）取字符。
monty[::-1] = > 'nohtyP ytnoM'
倒序取整个字符串。
6
a.[a-zA-Z]+ 纯字符构成的单词
b.[A-Z][a-z]* 首字母大写的纯字符单词，词长至少是1
c. p[aeiou]{,2}t 首字母为p，跟0-2个元音字母，跟字母t的单词。
d.\d+(\.\d+)? 整数或小数。数字1个或多个，跟(小数点.1个，数字1个或多个） ，小数点部分或0个或1个。
e.([^aeiou][aeiou][^aeiou])* （1非小写字母，可以是大写元音字母+1小写元音字母+1非小写元音字母）0个或多个。
e.的范围比预想要广，测试。
wl = ['9iy', 'LoL', 'WoW', 'AoE', 'abc', '']
[w for w in wl if re.search('([^aeiou][aeiou][^aeiou])*', w)] ['9iy', 'LoL', 'WoW', 'AoE', 'abc', ''] [w for w in wl if re.search('([^aeiou][aeiou][^aeiou])', w)]
# 去掉了* ['9iy', 'LoL', 'WoW', 'AoE']
第一种情况，123是模式为0的情况。abc为什么也能通过，也是模式为0？？是的，nltk.re_show('([^aeiou][aeiou][^aeiou])', 'abc') 结果是{}a{}b{}c
第二种情况，是预想的情形。
二者只差一个*，差别太大了。
f.\w+ | [^\w\s]+ 至少一个字母数字字符 或者 至少一个不含字母数字字符空白的字符串。
7.
a. 没想出来
b. ^-?[1-9]\d*$ 匹配整数
\*乘号
\+加号
^-?[1-9]\d*$\*^-?[1-9]\d*$\+^-?[1-9]\d*$
8、9. 正则表达式分词
10.
sent = ['The', 'dog', 'gave', 'John', 'the', 'newspaper']
[(word, len(word)) for word in sent]
11. Define a string raw containing a sentence of your own choosing. Now, split raw on some character other than space, such as 's'.
这句中文译文译得真头疼。“分裂raw的一些字符以外的空间，例如's'”
应为：“以其他字符（非空格），如's' 来分词”。
s = 'The dog gave John the newspaper'
s.split()
s.split(' ')
s.split('a')
s.split('a ')
s.split('o')
s.split('J')
13.
split()能识别出\t,将其视为做分隔符，split(' ')严格将空格作为分隔符，\t视为内容放入词链表。
s = 'The dog gave J\t ohn the news paper.'
s.split()
s.split(' ')
14
words.sort()，words本身变为有序词链。
sorted(words)，输出排序词链，但words本身没有变化，依然保持原序。
15.
3 * 7 => 21
# “3" * 7是字符”3"重复7次。
"3" * 7 => '3333333'
int("3") => 3
str(3) =>'3'
16. 略
17.
>>> s ='HelloWorld'
>>> s
'HelloWorld'
>>> '%6s' % s
'HelloWorld'
>>> '%-6s' % s
'HelloWorld'
=====结束分割线=====
（待续……)