1. 解决传统数仓的问题
从目前数仓建设的现状来看,实时数仓是一个容易让人产生混淆的概念,根据传统经验分析,数仓有一个重要的功能,即能够记录历史。通常,数仓都是希望从业务上线的第一天开始有数据,然后一直记录到现在。但实时流处理技术,又是强调当前处理状态的一个技术,结合当前一线大厂的建设经验和滴滴在该领域的建设现状,我们尝试把公司内实时数仓建设的目的定位为,以数仓建设理论和实时技术,解决由于当前离线数仓数据时效性低解决不了的问题。
现阶段我们要建设实时数仓的主要原因是:
-
公司业务对于数据的实时性越来越迫切,需要有实时数据来辅助完成决策;
-
实时数据建设没有规范,数据可用性较差,无法形成数仓体系,资源大量浪费;
-
数据平台工具对整体实时开发的支持也日渐趋于成熟,开发成本降低。
2. 实时数仓的应用场景
-
实时 OLAP 分析;
-
实时数据看板;
-
实时业务监控;
-
实时数据接口服务。