进阶——scrapy登录豆瓣解决cookie传递问题并爬取用户参加过的同城活动©seven_clear

时间:2022-05-30 11:08:50

最近在用scrapy重写以前的爬虫,由于豆瓣的某些信息要登录后才有权限查看,故要实现登录功能。豆瓣登录偶尔需要输入验证码,这个在以前写的爬虫里解决了验证码的问题,所以只要搞清楚scrapy怎么提交表单什么的就OK了。从网上找了点资料,说要重写CrawlSpider的start_requests,在重写的函数里发个request,在其回调函数里提交表单。至于request是啥,参考scrapy文档(中文版:http://scrapy-chs.readthedocs.io/zh_CN/latest/intro/tutorial.html)。废话少说,上代码。

重写start_requests:

def start_requests(self):
return [Request('https://www.douban.com/accounts/login',
meta={'cookiejar': 1}
callback=self.post_login)]
Scrapy通过使用cookiejar Request meta key来支持单spider追踪多cookie session。 默认情况下其使用一个cookie jar(session),不过可以传递一个标示符来使用多个。如meta={'cookiejar': 1}这句,后面那个1就是标示符。下面就是post_login函数了,这个函数主要是提交登录表单,要处理有验证码和无验证码两种情况:
def post_login(self, response):
print 'Preparing login====', response.url
# s = 'index_nav'
html = urllib2.urlopen(response.url).read()
# print 'htnl:', html
# 验证码图片地址
imgurl = re.search('<img id="captcha_image" src="(.+?)" alt="captcha" class="captcha_image"/>', html)
if imgurl:
url = imgurl.group(1)
# 将图片保存至同目录下
res = urllib.urlretrieve(url, 'v.jpg')
# 获取captcha-id参数
captcha = re.search('<input type="hidden" name="captcha-id" value="(.+?)"/>', html)
if captcha:
vcode = raw_input('请输入图片上的验证码:')
return [FormRequest.from_response(response,
meta={'cookiejar': response.meta['cookiejar']},
formdata={
'source': 'index_nav',
# 'source': s,
'form_email': 'your_email',
'form_password': 'your_password',
'captcha-solution': vcode,
'captcha-id': captcha.group(1),
'user_login': '登录'
},
callback=self.after_login,
dont_filter=True)
]
return [FormRequest.from_response(response,
meta={'cookiejar': response.meta['cookiejar']},
formdata={
'source': 'index_nav',
# 'source': s,
'form_email': 'your_email',
'form_password': 'your_password'
},
callback=self.after_login,
dont_filter=True)
]
这里通过meta传递cookie(为什么要传cookie,因为cookiejar meta key不是“粘性的”),并且source:index_nav这句是必须的,如果没有这句会登录不上,dont_filter是为了不过滤,因为前面写了自定义的Rule(后面会贴出代码),下面就是回调的after_login函数了:
def after_login(self, response):
print 'after_login============' for url in self.start_urls:
print '======url:', url
# 上面定义了Rule,这里只需要生成初始爬取Request即可
req = Request(url, meta={'cookiejar': response.meta['cookiejar']}) yield req
这里同样用meta传递cookie,不过这样是不成功的,运行时老是302重定向,肯定是cookie没传过去,后来找到一种方法,要重写下面的这个方法:
def _requests_to_follow(self, response):

        if not isinstance(response, HtmlResponse):
return
seen = set()
for n, rule in enumerate(self._rules):
links = [l for l in rule.link_extractor.extract_links(response) if l not in seen]
if links and rule.process_links:
links = rule.process_links(links)
for link in links:
seen.add(link)
r = Request(url=link.url, callback=self._response_downloaded)
# 下面这句是重写的
r.meta.update(rule=n, link_text=link.text, cookiejar=response.meta['cookiejar'])
yield rule.process_request(r)
重写那句是每次更新meta都将cookie也更新了,这样传递即可cookie。当然,我这么菜,肯定不是自己想出来的(->_->)©seven_clear
最关键一步,在配置文件里启用cookie,在settings里设置COOKIES_ENABLED=True。如果想看cookie的传递信息,可设置COOKIES_DEBIG=True(别问我怎么知道的,文档上看的)
登录问题解决了,就搞点事,网上爬电影的一大堆,不想盲目随大流,搞个同城爽一下,爬别的模块看下网页源码,稍微动一下脑子就能搞出来。首先要把规则写好,在rules里加上同城的Rule:
Rule(SgmlLinkExtractor(allow=(r'https://www.douban.com/location/people/[0-9a-zA-Z]*/events/attend$')),
callback='parse_eventlist'),
SgmLinkExtractor是用来筛选链接的,用法最好还是看文档(文档往往是最好的参考资料)。

哦哦,还得确定爬取哪些内容,写一个Item,随便打开几个活动页面,发现活动都有时间、地点、费用、类型、主办方(发起人)这五项,则爬取这些信息:

class EventItem(Item):
itype = Field() # 类型
title = Field() # 活动标题
time = Field() # 时间
address = Field() # 地点
fee = Field() # 费用
etype = Field() # 类型
actor = Field() # 发起人/主办方

写好Item,还要处理Item,ItemPipiLines就是干这事的,这里将数据写入json,如果爬的数据量很大,json就不太合适了,可以用JsonLinesItemExporter,每个Item一项,具体用法以后应该会写个例子。pipeline代码:

class EventPipeLine(object):
def __init__(self):
self.file = codecs.open('event.json', 'w', encoding='utf-8') def process_item(self, item, spider): if item['itype'] is not 'event':
return item
name = json.dumps('活动名:' + str(item['title']), ensure_ascii=False) + '\n'
time = json.dumps('时间:' + str(item['time']), ensure_ascii=False) + '\n'
address = json.dumps('地点:' + str(item['address']), ensure_ascii=False) + '\n'
fee = json.dumps('费用:' + str(item['fee']), ensure_ascii=False) + '\n'
etype = json.dumps('类型:' + str(item['etype']), ensure_ascii=False) + '\n'
actor = json.dumps('发起人/主办方:' + str(item['actor']), ensure_ascii=False) + '\n'
line = name + owner + time + address + fee + etype + actor
self.file.write(line)
self.file.write('==================================================\n')
return item def spider_closed(self, spider):
self.file.close()

这样的代码在网上烂大街了,自己看看理解思路就行,ensure_ascii=False解决写入时中文乱码问题。对了,item类里有两个类型,注释没写好,itype是说明Item类的类型,即这个item是处理什么类型的数据(电影、音乐或者同城等等),下面那个etype是活动详情页里的那个类型(活动的),在pipeline里用itype来判断item的类型,这只是一个思路,当爬的模块多的时候避免pipeline冲突,因为我爬的模块多,设置pipeline优先级后老冲突,爬取过程中返回的item顺序不一定和pipeline的顺序一致,于是就加了这么一个字段判断,当然要把各pipeline的优先级设一样(在settings里设置ITEM_PIPELINES)。

都OK了,可以写rule里的回调函数了,流程大致为:从用户主页筛选用户同城活动链接->进入链接后筛已过期链接(参加过的当然是已过期)->进入链接筛活动列表->对列表的活动进入详情页筛要爬的数据©seven_clear。一个三个函数:

def parse_eventlist(self, response):
print 'url=====', response.url
url = response.url
nextp = url + '/expired'
print 'nextpage:', nextp
req = Request(nextp, callback=self.event_list)
# ===========================================================================
req.meta['cookiejar'] = response.meta['cookiejar'] # 传递cookie
# ===========================================================================
yield req def event_list(self, response):
page = response.body
soup = BeautifulSoup(page, 'html.parser')
# 获取条目总页数
pagenum = soup.find("span", {"class", "thispage"})['data-total-page'] \
if soup.find("span", {"class", "thispage"}) else 0
print 'before====pagenum===:', pagenum
print 'type:', type(pagenum)
if int(pagenum) > 5:
pagenum = 5
print '====pagenum===:', pagenum
# 获取当前页数
thispage = soup.find("span", {"class", "thispage"}).next_element \
if soup.find("span", {"class", "thispage"}) else 0
print 'thispage:', thispage
# 获取下一页链接
if soup.find('span', {'class': 'next'}).find('a'):
nexturl = soup.find('span', {'class': 'next'}).find('a')['href']
nexturl = 'https://www.douban.com' + nexturl
print 'nexturl:', nexturl
result = soup.findAll("div", {"class": "info"})
print 'num:', len(result) - 1
for item in result:
if item.find('h1'): # 去除杂项
pass
else:
event_url = item.find('a')['href']
# print '========================================='
# print 'address:', item.find('a')['href']
req = Request(event_url, callback=self.parse_event) # 请求条目详情页
# ===========================================================================
req.meta['cookiejar'] = response.meta['cookiejar'] # 传递cookie
# ===========================================================================
yield req
print '==========page', thispage, 'print done!============'
if int(thispage) < int(pagenum): # 若当前页不到最后页或者指定页数,则请求下一页
req = Request(nexturl, callback=self.event_list)
# ===========================================================================
req.meta['cookiejar'] = response.meta['cookiejar'] # 传递cookie
# ===========================================================================
yield req def parse_event(self, response):
sel = Selector(response)
item = EventItem()
item['itype'] = 'event'
item['title'] = sel.xpath('//*[@id="event-info"]/div[1]/h1/text()').extract()[0].strip()
item['time'] = sel.xpath('//*[@id="event-info"]/div[1]/div[1]/ul/li/text()').extract()[0]
item['address'] = ''.join(sel.xpath('//*[@id="event-info"]/div[1]/div[2]/span[2]/span/text()').extract())
item['fee'] = sel.xpath('//*[@id="event-info"]/div[1]/div[3]/text()').extract()[1].strip()
item['etype'] = sel.xpath('//*[@id="event-info"]/div[1]/div[4]/a/text()').extract()[0]
item['actor'] = sel.xpath('//*[@id="event-info"]/div[1]/div[5]/a/text()').extract()[0]
yield item

在实现过程中还是有些坑的,比如判断总页数的时候,因为爬的数据是Unicode类型的,要转为int再与指定页数比较,不然可能会有这种情况(假设指定页数为5):活动总页数是4,但是if pagenum > 5的结果是True,导致爬取过程中出错;还有下一页的链接是不全的,要在前面加上前缀;活动的地址分级不一样,可以都爬下来用join方法连接起来。处理event信息是用xpath,这个很好用,可以看一下。

这样就O了,做出来觉得没什么,但做的过程是很曲折的,主要是思路的突破口,看了说一句这很简单也不容易,背后还是要付出点的,继续前行©seven_clear

对了,还有要import的东西,这里提一下:

from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from scrapy.selector import Selector # 选择器,xpath找数据
from ..items import EventItem # 导入item
import re #以下3个用于验证码登录时下载验证码
import urllib
import urllib2
from scrapy.http import Request, FormRequest, HtmlResponse # 表单登录

最后一句,我是菜鸟,别介意我的代码烂,哈哈哈