今天用Python写了个简单的爬虫程序,抓取虎扑篮球(nba.hupu.com)的首页内容,代码如下:
#coding:gb2312
import urllib2, re
webpage = urllib2.urlopen('http://nba.hupu.com')
text = webpage.read()
m = re.search('<a href=(.*) (.*)?>彩票</a>', text)
print m.group(1)
按照预想应该输出的结果是"http://lecai.hupu.com/" ,但是得到的结果却是:
"http://cba.hupu.com/" >CBA</a></li><li class="line">|</li><li><a href="http://soccer.hupu.com/" >国际足球</a></li><li class="line">|</li><li><a href="http://soccer.hupu.com/china/" >中国足球</a></li><li class="line">|</li><li><a href="http://racing.hupu.com/" >赛车</a></li><li class="line">|</li><li><a href="http://tennis.hupu.com/" >网球</a></li><li class="line">|</li><li><a href="http://zb.hupu.com/" target="_blank">装备</a></li><li class="line">|</li><li><a href="http://www.shihuo.cn/" target="_blank">识货</a></li><li class="line">|</li><li><a href="http://lecai.hupu.com/"
经过思考后发现问题所在,根据Python正则表达式的贪婪匹配原则,Python会匹配从 <a href= 开始到 彩票 的最长字符串,所以自然会得到上述结果。
此外也需要注意 <a href=(.*) (.*)?>彩票</a> 两个group中的空格,若没有空格,Python将会将随后的target="_blank"也进行匹配,空格在此相当于起分隔的作用。