基础是标准化、规范化
建立数据仓库,面向主题的、集成的、相对稳定的、反映历史变化的数据集合,以支持管理决策decision making
大数据:大量volumn、多样variety、快速velocity、价值密度低value、准确性veracity、可视化visualization、合法性validity
多源数据、多样数据、提炼并应用数据价值
平台化及场景化的数据仓库、元数据管理、主数据管理、数据质量、数据泄漏、数据科学
云上数据中台致力于构建标准统一、融会贯通、资产化、服务化和闭环自优化的智能大数据体系
大数据应该是标准、规范、有序的
oneData、oneEntity、oneService
数据的标准与统一
实体统一
数据服务统一
(1)计算后台:实时计算、离线计算
(2)云上数据中台:全局数据仓库规划、数据规范定义、数据建模与研发、数据链接萃取、数据运维监控
采集尽可能丰富的数据源,清洗、结构化后形成垂直数据中心,即统一的ods数据基础层,
然后,进行数据研发建模,处理为不因业务特别是组织架构变动而轻易转移的数据中间层,包括明细数据中间层和汇总数据中间层,与数据基础层一起形成公共数据中心。包括电商、文娱、金融。。。等数据
更进一步,以业务单元、或以业务对象(人、货、场)纬度,计算出复用性强的统计指标,并增加到公共数据中心。再将各垂直孤岛的数据连接起来,并萃取不同于统计指标的精华数据,如行为标签、关系等,形成萃取数据中心。包括消费着数据体系、企业数据体系、商品数据体系和位置数据体系等。萃取数据中心的数据,根据数据模型的设计要求,存放在明细数据中间层、汇总数据中