【文件属性】：
文件名称：mall-warehouse:电商平台的数据仓库
文件大小：23.69MB
文件格式：ZIP
更新时间：2024-04-17 05:47:42
Shell
电商数仓
项目简介
基于hadoop生态建设的电商数仓
系统架构
数仓分层
er图
数仓模型图
进行规划
技术选型
名称
版本号
类型
说明
Hadoop
2.7.2
数据存储
火花
2.0.0
计算引擎
使用spark作为hive的计算引擎
蜂巢
3.4.6
数据计算
水槽
1.7.0
数据采集传输
卡夫卡
2.11-0.11
数据采集传输
oop
1.4.6
数据采集传输
MySQL的
5.7.30
数据存储
阿兹卡班
3.84.4
任务调度
动物园管理员
3.4.10
投入管理
超集
0.0.0
数据可视化
杰克
1.8.0
依赖
项目结构说明
├─azkaban azkaban job文件
│
├─shell 脚本
│ ├─ads.sh ads层加载数据脚本
│ │
│ ├─*to* 从某个地方导入到某个地方如（mysql_to_hdfs.sh
【文件预览】：
mall-warehouse-main
----img()
--------er.png(147KB)
--------framework.png(91KB)
--------layered.png(159KB)
--------clusterplan.png(20KB)
--------dimension.png(222KB)
----jar()
--------log()
--------db()
--------hive()
--------flume()
----table()
--------dwd_log.txt(5KB)
--------ads.txt(9KB)
--------ods.txt(17KB)
--------dwt.txt(6KB)
--------dwd_db.txt(11KB)
--------dws.txt(4KB)
----README.md(5KB)
----azkaban()
--------gmall.zip(565B)
----shell()
--------mysql_to_hdfs.sh(13KB)
--------utils()
--------hdfs_to_ods_db.sh(3KB)
--------dws_to_dwt.sh(9KB)
--------hdfs_to_mysql.sh(727B)
--------ods_to_dwd_log.sh(5KB)
--------tools()
--------ods_to_dwd_db.sh(10KB)
--------ads.sh(11KB)
--------dwd_to_dws.sh(10KB)
--------hdfs_to_ods_log.sh(684B)