City58:全国58同城房屋信息爬虫

时间:2024-04-05 04:11:39
【文件属性】:

文件名称:City58:全国58同城房屋信息爬虫

文件大小:26KB

文件格式:ZIP

更新时间:2024-04-05 04:11:39

Python

城市58 58同城全国城市房屋信息爬虫,爬取内容包括:各行政区域小区的详情页数据,各小区内出租房和二手房的详情页数据。 抓取流程 进入XA小区列表页面,抓取各行政区编号,并初始化各行政区首页URL 遍历抓取各行政区所有页面的小区详情页URL 进入小区详情页,抓取小区名称,房价,地址等数据 进入小区二手房列表页面,翻页抓取所有二手房名称,房价,户型等数据 进入小区出租房列表页面,翻页抓取所有出租房详情页面URL 进入出租房详情页,抓取名称,房价,户型,地址,房屋类型等数据 第三方依赖 库 描述 扭曲的 (最新)18.9.0 Pywin32 注意: Twisted 18.9.0以下版本可能需要安装Microsoft Visual C ++生成工具 Pywin32不可pip安装,必须去官网下载对应版本的.exe程序手动安装。 解释 为方便调试程序,Spider中设置仅抓取一个行政区域的第一


【文件预览】:
City58-master
----.gitignore(7B)
----README.md(4KB)
----scrapy.cfg(268B)
----City58()
--------middlewares.py(2KB)
--------spiders()
--------__init__.py(0B)
--------pipelines.py(2KB)
--------utils()
--------__pycache__()
--------main.py(84B)
--------settings.py(3KB)
--------items.py(941B)

网友评论