Python scrapy------分类获取美团整站数据

时间:2023-03-09 02:22:30
Python scrapy------分类获取美团整站数据

欢迎联系讨论:qq:1170370113

以下是我们获取美团页面的城市信息

Python scrapy------分类获取美团整站数据

获取到了城市信息以后我们可以进行分类保存,以便于后续能够分类获取数据

    Python scrapy------分类获取美团整站数据

获取我们需要城市的景区的所有相关id并且进行保存

        Python scrapy------分类获取美团整站数据

最后根据我们获取的相关的ids在进行每个城市逐个获取数据,并最终保存到我们的TXT文件中

    Python scrapy------分类获取美团整站数据

Python scrapy------分类获取美团整站数据

其他数据就占时不截图了,整站数据获取的思路大致就是这样。