大数据第一期

时间:2022-10-12 21:56:25

一 、大数据的技术体系

 有几个部分组成:

                      六层 数据可视化 (Cboard  , Echart)

                      五层 数据分析(数据仓库(Hive),数据挖掘(SparkStreming),OLAP(Druid))

                      四层 数据处理(批处理,流处理,交互分析)

                     三层 资源管理(YARN,MESOS)

                     二层数据存储(常用有,HDFS最基础的存储,hbase,redis,mysql)

                      一层数据收集/日志收集(相关软件有flume,scribe,logstash)其中flume比较常用

                       底层数据源(互联网,社交,智能设备)

二  大数据就业方向

         1 大数据分析工程师

         2 大数据平台开发

          3 大数据运维工程师