【文件属性】:
文件名称:Lagou:定时开启任务,爬取拉钩招聘信息, 并自动投递简历
文件大小:248KB
文件格式:ZIP
更新时间:2021-05-01 21:31:47
Python
Lagou
爬取拉钩招聘信息
框架
scrapy
lxml
Panas
运行
在根目录下执行:
pip3 scrapy crawl lg / python3 -m scrapy crawl lg
结果
在Lagou目录下生成data.csv文件
版本
0.01 爬取拉钩iOS岗位招聘信息,并以csv文件形式输出
0.02 使用selenium自动翻页爬取数据
0.03 添加代理ip,定时任务,更改请求头。提高成功率
详情请移步 ->
【文件预览】:
Lagou-master
----.gitignore(1KB)
----.zshrc(0B)
----LICENSE(1KB)
----README.md(620B)
----scrapy.cfg(253B)
----lagou()
--------middlewares.py(6KB)
--------atlogin.py(3KB)
--------result.csv(73KB)
--------spiders()
--------__init__.py(0B)
--------pool.py(4KB)
--------pipelines.py(2KB)
--------user.json(203B)
--------config.py(410B)
--------ip.txt(539B)
--------settings.py(10KB)
--------items.py(677B)
----crontab()
--------start.sh(64B)
--------update.sh(61B)
----ip.sh(61B)
----crawl.sh(71B)
----result.png(219KB)