【文件属性】：
文件名称：项目框架-中国联通ims 接口规范 第二分册：cx 接口
文件大小：5.14MB
文件格式：PDF
更新时间：2021-06-26 13:54:40
大数据spa
1.2 项目框架
1.2.1 项目整体框架
图 1-2 项目整体框架
本项目分为离线分析系统与实时分析系统两大模块。
在离线分析系统中，我们将模拟业务数据写入 Hive 表中，离线分析系统从 Hive
中获取数据，并根据实际需求（用户访问 Session 分析、页面单跳转化率分析、各区
域热门商品统计）对数据进行处理，最终将分析完毕的统计数据存储到 MySQL 的
对应表格中。
在实时分析系统中，我们将模拟业务数据写入 Kafka 集群中，实时分析系统从
Kafka broker 中获取数据，通过 Spark Streaming 的流式处理对广告点击流量进行实
时分析，最终将统计结果存储到 MySQL 的对应表格中。