Team6-Reptile:爬取链家的房源数据

时间:2021-04-28 21:26:44
【文件属性】:
文件名称:Team6-Reptile:爬取链家的房源数据
文件大小:10KB
文件格式:ZIP
更新时间:2021-04-28 21:26:44
JavaScript 安装 安装Node环境以及npm或yarn包管理工具 克隆本仓库 yarn && node app.js 城市查询 由于在查询的过程中发现上海的数据只有 100 页的数据,可能满足不了我们的需求,所以做了城市查询功能,当上海的数据爬完之后,可以去查北京,杭州或任意其它城市的数据。 比如查询列表,如果支持城市查询,需要将接口改为 去查询北京,至于 city 的内容如何填写,可参考链家的url,不过据我观察,一般都是城市名称的缩写,比如天津就是 tj,杭州就是 hj,成都就是 cd。 接口说明 爬取列表: 链接中的 page 代表页数,如果爬第一页则链接为 ,以此类推。可以将爬取的数据以 json 格式下载下来。 列表大数据接口: 上面爬取列表的链接一次性可爬取链家一页的数据,也就是 30 条数据,为了方便,特提供此接口,一次性可爬取 20 页的数据,也就是 600 条数据,可根据 p
【文件预览】:
Team6-Reptile-master
----.gitignore(15B)
----app.js(2KB)
----package.json(365B)
----model()
--------postctrl.js(3KB)
----README.md(2KB)
----yarn.lock(20KB)

网友评论