文件名称:数据分级存储原则-大数据平台规划方案汇报(PPT-22张)
文件大小:1.51MB
文件格式:PPT
更新时间:2024-05-16 04:05:28
h hadoop
数据分级存储原则 数据融合与分级存储实施 按数据血缘 按逻辑层次 按业务种类 按设备网络划分 按设备物理地址 在线、近线、离线 按访问频度 内存数据库 按响应 及时性 内存数据库 数据生命周期中在线数据对高性能存储的需求,以及随着数据生命周期的变更,逐渐向一般性能存储的迁移,是分级存储管理的一条主线。同时兼顾考虑其他分级原则,共同作用影响数据迁移机制。 基于生命周期 基于访问压力 基于业务用途 基于物理属性 分级原则 高性能 磁盘库 磁带 光盘库 中低性能 磁盘库 将核心模型(即中度汇总的模型)通过改造融入到现有主数据仓库的核心模型中,减少数据冗余,提升数据质量。 将主数据仓库中的历史数据和清单数据迁移到低成本分布式数据库,减轻主数据仓库的计算与存储压力并支撑深度数据分析。 数据 数据 数据 1、核心模型融入主数据仓库 主数据仓库 2、历史数据迁移到分布式数据库 分布式数据库 1’、清单数据入MPP数据库 大数据平台: 数据分级存储