1、大数据金字塔结构
Data Source-->Data Warehouses/Data Marts-->data exploration-->Data Mining-->Data Presentations-->Making Decisions
2、从业职位
业务人员、ETL工程师、数据仓库工程师(及时需求)、数据分析师、数据展现设计师、
IT支持人员:运维。程序员、生产线数据管理员
3、数据分析:统计方法,有目的 地对收集到的数据进行处理。
数据挖掘:查找隐藏在数据中的信息的技术、应用算法从大数据集提取知识、隐性关联
商业智能:Business Intelligece简称BI。
BI=数据仓库(存储层)+数据分析与数据挖掘(分析层)+报表(展示层)
4、数据分析常用的算法和软件
回归、时间序列分析、分类器(学习集)、聚类(聚合)、频繁模式挖掘
5、常用的传统数据分析工具排行
R、SAS、Weka、STATISTICA、Matlab……
这些都是实验室工具,当建模结束后,就不要他们,后面的预测工作就可以使用java、php、oracle等来做。
后者是生产环境里面实现模型的工具。
将建模的过程与实现建模生产的过程区分开来。
6、数据分析的层次
第一层:业务人员主导-------------------遍地黄金
第二层:业务人员与数据分析师共同主导:最好的层次,分析师喜欢、业务员肯定---------------浅表黄金
第三层:完全由数据分析师主导的分析:数据分析师王国(人工智能、模式识别、机器学习)、失败率高、业务人员反感抗拒-----黄金深埋
业务是数据分析扎根的土壤,提升业务业绩是数据分析的目标,因此任何数据分析必须要和业务相连接。
有意思的分析主题可能比分析技术本身更重要。
7、大数据定义:超过当前数据处理能力的数据量。
8、传统数据分析软件与hadoop区别
R、SAS、SPASS等典型的应用场景为实验室工具,是试管和蒸馏瓶
Hadoop集群和Map-Reduce计算才是大规模生产的可行之路。
9、实例
1)场景一:电信运营商信令分析与监测:信令处理模块---CDR(collect report data)生成(基站信号、国际电话中转)
2)场景二:DNA数据库---------匹配
3)社会学分析——人物重要度计算----社交网络
10、Hadoop体系下的分析手段
1)主流,Map-Reduce:java程序
2)轻量级的脚本语言:Pig
3)SQL技巧平稳过度:Hive
4)机器学习平台:Mahout
5)NoSQL:HBase
11、典型的实验环境
1)服务器:ESXi,可以在服务器上面部署多台虚拟机,能同时启动3台。
2)PC,要求Linux环境或者windows+Cygwin,linux可以使standalone或者使用虚拟机。
12、实验环境
1)部署Pig
2)部署Hive
3)部署Mahout
13、典型案例
1)巨型网站日志系统分析,提取KPI数据(Map-Reduce)
2)电信运营商LBS应用,分析手机用户移动轨迹(Map-reduce)
3)电信运行商用户分析,通过童话指纹判别重入网用户(Map-reduce)
4)电子商务推荐系统设计(Map-reduce)
5)更复杂的推荐系统场景(Mahout)
6)社交网络,判断微博用户关系亲疏程度,发现社区(Pig)
7)在社交网络中衡量节点的重要程度(Map-reduce)
8)聚类算法应用,分析优质客户(Map-reduce、Mahout)
9)金融数据分析,从历史数据中提取逆回购信息(Hive)
10)通过数据分析指定股票策略(Map-reduce,Hive)
11)GPS应用,签到数据分析(Pig)
12)Map-reduce全排序实现和优化
13)中间件开发,让过个Hadoop集群协作起来。
备注:这段时间将云帆大数据的《Hadoop从入门到企业级开发》一共14天教程,80+集看完了,后面的部分目前网上还没有公开的视频教程,等找到再看或者直接去买。博客还没来得及整理,技术有一定了解,又看了黄老师的视频加深了自己对Hadoop应用领域的了解,甚是感谢!