python初学-爬取网页数据
1,获取网页源代码
import urllib
url = 'http://www.163.com'
wp = urllib.urlopen(url)
file_content = wp.read()
print file_content
2,将网页内容存入文件中
fp = open('163.txt', 'wb') #打开一个文本文件
fp.write(file_content) #写入数据
fp.close() #关闭文件
3,利用正则表达式快速的打印出网页的标题跟链接地址
import re
fp = open('163.txt', 'rb')
content = fp.read()
fp.close()
title = re.search('<title>(.*?)</title>', content, re.S).group(1)
print 'title = ', title + '\n'
hrefPatten = 'href="(.*?)"'
hrefC = re.findall(hrefPatten, content, re.S) #返回所有匹配正则表达式的值于列表中
print 'Allhref = ', hrefC
for h in hrefC :
print h
只是示例代码,演示爬取简单内容的简单过程,程序不完善,谢谢阅读,有不明白的可以回复讨论。