文件名称：项目整体架构-python使用梯度下降和牛顿法寻找rosenbrock函数最小值实例
文件大小：3.86MB
文件格式：PDF
更新时间：2024-07-18 23:03:51
用户画像 模型标签 spark项目 大数据项目 涛哥
1.1 项目背景 公司的业务 比如，公司是一个互联网电商：销售商品 细节事务： 商品管理 用户管理 订单管理 购物车管理 物流管理 商铺管理 这么多的事务，是不是会产生大量的数据； 这些数据要不要合理地管理、利用？ 这么种类型的数据，这么大量级的数据，要想很好管理，很好利用，需要一个完善的数据仓库！ 项目的立项意义 为了更好更高效地管理、利用公司各条业务线产生的以及所需要的数据 以更好地支撑公司主营业务以及其他各条业务线的运营； 1.2 项目核心模块 数据采集 数据预处理 数仓系统 1.3 项目整体架构 首先考虑，数据来源，数据类型 ◼ 行为日志 ◼ 业务数据（用户注册信息、订单信息、订单详情、物流信息…….） 其次考虑，技术选型，业务建模 ◼ 数据采集： 日志用 flume，业务数据用 sqoop ◼ 数据存储： HDFS ◼ 数据预处理：SPARK