【文件属性】：
文件名称：项目概述-中国联通ims 接口规范 第二分册：cx 接口
文件大小：5.14MB
文件格式：PDF
更新时间：2021-06-26 13:54:40
大数据spa
第一章 项目框架
1.1 项目概述
本项目来源于企业级电商网站的大数据统计分析平台，该平台以 Spark 框架为
核心，对电商网站的日志进行离线和实时分析。
该大数据分析平台对电商网站的各种用户行为（访问行为、购物行为、广告点
击行为等）进行分析，根据平台统计出来的数据，辅助公司中的 PM（产品经理）、
数据分析师以及管理人员分析现有产品的情况，并根据用户行为分析结果持续改进
产品的设计，以及调整公司的战略和业务。最终达到用大数据技术来帮助提升公司
的业绩、营业额以及市场占有率的目标。
本项目使用了 Spark 技术生态栈中最常用的三个技术框架，Spark Core、Spark
SQL 和 Spark Streaming，进行离线计算和实时计算业务模块的开发。实现了包括用
户访问 session 分析、页面单跳转化率统计、热门商品离线统计、广告流量实时统计
4 个业务模块。通过合理的将实际业务模块进行技术整合与改造，该项目几乎完全
涵盖了 Spark Core、Spark SQL 和 Spark Streaming 这三个技术框架中大部分的功能
点、知识点，学员对于 Spark 技术框架的理解将会在本项目中得到很大的提高。
图 1-1 Spark 计数框架