文件名称:Tencent招聘信息采集
文件大小:10KB
文件格式:ZIP
更新时间:2022-03-12 13:42:25
爬虫小项目
此项目用了两种方法爬取腾讯网的招聘信息, 第一种写法:通过拼接URL的方式,此方法不够灵活,页面数不是一成不变的。 适用场景:页面没有可以点击的请求链接,必须通过拼接url才能获取响应 第二种写法:直接从Response获取需要爬取的链接,并发送请求处理,直到链接全部提取完。
【文件预览】:
Tencent
----Tencent()
--------middlewares.py(4KB)
--------pipelines.py(586B)
--------spiders()
--------__pycache__()
--------items.py(568B)
--------__init__.py(0B)
--------settings.py(3KB)
----scrapy.cfg(257B)