看了scrapy,打算构建自己的天气数据,目标源:就是你了,中国天气网!
仔细点两下这个网站,发现可以由各个省、直辖市到省市所属的地级市,再到各县,页面在这:
点开就可以看到中国所有的省、直辖市,但港澳台的天气数据没有,所以就把这三个地区过滤掉。
接下来,就是一步步的解析,基本上没什么好讲的,最后把结果存入mongodb。项目地址:
看了scrapy,打算构建自己的天气数据,目标源:就是你了,中国天气网!
仔细点两下这个网站,发现可以由各个省、直辖市到省市所属的地级市,再到各县,页面在这:
点开就可以看到中国所有的省、直辖市,但港澳台的天气数据没有,所以就把这三个地区过滤掉。
接下来,就是一步步的解析,基本上没什么好讲的,最后把结果存入mongodb。项目地址: