python爬虫第一次练习

python版本：python3.4

第一次尝试使用爬虫，没有做什么高端的事情，就是简单的爬了一下百度

用的也是python里面自带的 urllib库里面的东西，以及用了一个叫做deque的数据结构，有点像是队列，又有点不同

代码

import re
import urllib.request
import urllib

from collections import deque

queue = deque()
visited = set()

url = 'http://www.baidu.com'

queue.append(url)
cnt = 0

while queue:
	url = queue.popleft()
	visited = visited | {url}

	print('climb num:' + str(cnt) + ' now climb ---> ' + str(url) )
	cnt += 1
	urlop = urllib.request.urlopen(url)

	if 'html' not in urlop.getheader('Content-Type'):
		continue

	try:
		data = urlop.read().decode('utf-8')
	except:
		continue

	linkre = re.compile('href=\"(.+?)\"')
	for x in linkre.findall(data):
		if 'http' in x and x not in visited:
			queue.append(x)
			print('append in queue ---> ' + x )