文件名称：51job-datamining:scrapy前程无忧数据挖掘岗位信息爬取(广深)
文件大小：451KB
文件格式：ZIP
更新时间：2024-06-03 06:26:57
Python
51job-广深数据挖掘岗位爬取 scrapy 项目目录下开启爬虫 提取岗位详细信息，为以后数据分析做准备 scrapy的异步性能还是很不错的，同比相同数据量下用request、lxml写的多线程爬虫性能要高出百分之50以上！
【文件预览】：
51job-datamining-master
----log.txt(756KB)
----51job_desc_item.json(306KB)
----images()
--------岗位详细信息.png(180KB)
--------耗时.png(74KB)
--------爬虫命令.png(16KB)
----51job_item.json(18KB)
----scrapy.cfg(249B)
----README.md(645B)
----.gitignore(1KB)
----job()
--------settings.py(3KB)
--------pipelines.py(968B)
--------middlewares.py(4KB)
--------__init__.py(0B)
--------items.py(585B)
--------spiders()