原文地址：http://blog.csdn.net/qq_34149805/article/details/69367578
大数据在规划行业被炒的热火朝天，但是大多数人还是处于不知所以然的程度，应用于日常和工作更是遥遥无期。
关键的大数据被互联网巨头、手机运营商、*机构所垄断，获取难之又难。
再看网上免费的数据接口，比如聚合数据，阿里数据，大部分都是收费的，想用于非商业的研究用途，大部分人还是用不起的。
所以，想要获取有质量并且还要保证数量的数据就要靠我们自己了。
当然如果编程能力强的话可以自己写程序来爬取，我这里就偷个懒，直接用人家写好的了。。。
这里我使用的是火车采集器的免费版，我以爬取大众点评的数据为例。
下面是我爬取到的一些数据
一、网站分析
首先我们要分析大众点评的URL
选择邯郸： http://www.dianping.com/handan
点击美食：http://www.dianping.com/handan/food
选择任意商业区：http://www.dianping.com/search/category/27/10/r12577
选择一个商户：http://www.dianping.com/shop/22057739
我们发现这些URL都是非常有规律的，这些规律将帮助我们爬取数据！
我们再来审查任意页面的源码
我们观察每个部分的分布位置，会缩小我们的爬取范围，加快爬取速度。
二、网址采集
打开火车采集器软件。
新建任务。
我们发现第一步就是设置网址采集规则，这是很重要的一步，这将会关系到我们采集到数据的数量。
我们发现我们爬取的数据都在商户详情页面：
所以，我们要想办法到达这个页面！
这里我选择分商业区进行爬取（这样可以细化数据，还可以根据行政区，商户类型，甚至不选择条件进爬取）
我们选择一个商业区作为起始爬取地址。
我们会发现，这个页面上有15个商户！
每个商户会对应一个连接，如果我们是选择单一连接，我们只会爬取到15条数据，所以我们要想办法解决分页的问题。
我们观察第二页，第三页的连接：
http://www.dianping.com/search/category/27/10/r12593p2
http://www.dianping.com/search/category/27/10/r12593p3
很明显，前面的 http://www.dianping.com/search/category/27/10/r12593p 是唯一不变的，而后面的页码是在变化的。
点击 向导添加 >> 批量网址
将页码设置成地址参数，选择从2开始，每次递增1次，共14项。
我们在下面的阅览就能看到我们想看到的链接。
点击网址采集测试，就会得到以下的结果：
我们采集了15个页面，每页采集到了15条数据。这就是我们所想要的！
三、内容采集
第二部我们要设置内容采集规则。
这里我们要采集的数据是：经度，纬度，商户名称，位置信息，口味，环境，服务，点评数量，人均消费。分别进行设置。
我们首先观察每个部分在源码中的特征，然后填入开头字符串，结尾字符串即可。
注意我们最好要保证开头字符串是唯一的，否则将选取第一个进行截取。
我们先看这一段ＪＳ包括了大部分的数据。
经度
商户名称
位置信息
再来看下面几处比较有特点的源码
口味
点评数量
人均消费
这里内容采集规则基本设置完成了，我们来测试一条数据：
测试成功！
四、内容发布
内容发布就是将采集好的数据导出来，这里免费版的只支持导出到txt。
为了转成excel方便，我们设置如下规则：
标签建均以英文逗号分隔，每一条数据加一个换行。
基本设置完成，点击右下角保存并退出。
开始数据采集并导出！
txt转换成excel
下面是我们导出得到的txt数据
看起来杂乱无章，也不方便使用，所以我们将它保存成excel
打开excel，点击打开文件，选择所有文件，找到我们的txt
选择 分隔符 >> 逗号分隔
点击完成，就得到我们想要的数据格式！
有了这些数据，我们就可以开始我们的数据可视化之旅了！