学习目标：
- 1.了解项目的背景和项目概述。
- 2.理解项目的业务流程。
- 3.了解项目的功能模块。
- 4.理解项目的技术架构。
1、项目介绍
智慧学成项目是对在线教育平台业务进行大数据统计分析的系统，对课程、用户、教育机构三个业务领域进行数据挖掘，采用企业级ETL的规范化研发流程，以及企业级数据仓库建模思想，
对课程、用户、机构三个主题的不同维度进行数据分析，挖掘数据的价值，为在线教育平台运营提供参考数据依据。
本项目是一个基于微服务与大数据实现的统计系统，后台大数据分析系统根据用户的指标进行统计分析，包括: 课程统计、机构统计、用户统计。
重点业务流程如下图所示:
2、技术架构
整个系统架构包括:数据源、数据采集、数据清洗，数据存储、数据分析、数据服务，如下图:
3、采用微服务技术栈
采集系统使用SpringBoot框架完成。
Kafka作为数据中转，集成各各采集层。
编写Spark程序完成数据清洗任务。
支持数据库、数据文件、网络数据等各数据源的数据采集。
...../.........
4、整体功能：
数据服务
采用vue.js+echarts+SpringBoot开发报表系统。数据服务数据存储至MySQL及Redis共其它系统调用。
数据存储
主要使用Hive进行数据仓库建模，包括资源库数据，主题库数据和业务库数据，以及为支持复杂业务而创建的中间数据库等。
对于需要即时查询的数据存放在Hbase和Elasticsearch中。
数据分析
数据离线分析:主要通过使用SparkSQL实现对历史数据分析;
数据实时分析:主要使用SparkStreaming实现对实时数据的处理及分析;
1.日志服务器采集用户行为数据保存到hdfs中/NiFi采集业务数据
⒉.根据采集的原始数据数据进行清洗
3.根据清洗的结果进行统计分析
4.统计分析的进行数据存储
5.结果数据提供给业务使用:报表系统展示