房天下房屋信息爬虫

时间:2021-08-07 04:17:49
【文件属性】:

文件名称:房天下房屋信息爬虫

文件大小:14KB

文件格式:ZIP

更新时间:2021-08-07 04:17:49

Scrapy 房天下

Python 2.7,Scrapy 1.4.0 ,Scrapy_redis 0.6.8, Redis 3.2,用来做数据缓存和去重。MongoDB 3.4.3 ,用来存储最终爬取到的房源数据。pymongo 3.5.1,Python操作MongoDB的工具库。


【文件预览】:
fangtx-master
----main.py(509B)
----scrapy.cfg(276B)
----fangtianxia_rent()
--------models.py(2KB)
--------middlewares.py(2KB)
--------pipelines.py(3KB)
--------spiders()
--------items.py(1KB)
--------__init__.py(0B)
--------settings.py(3KB)
----.gitignore(12B)

网友评论