文件名称：ApacheKylin在唯品会大数据的应用
文件大小：179KB
文件格式：PDF
更新时间：2024-03-17 13:14:50
ApacheKylin在唯品会大数据的应用
引子：随着传统基于RDBMS的EDW往大数据的演进的过程中，Batch可处理的数据量越来越大，时间越来越快，但是Ad-hoc的响应速度却始终是大数据的瓶颈。在2015年唯品会的数据分析碰到了以下两个瓶颈：第一是数据准备的流程长，第二是缺少合适数据提取和分析工具。首先，从数据准备流程来看，常见的流程是业务人员提出需求，BI同事定角度、找数据，如果数据不完善，还得继续找数据开发。这就导致同一个需求，需要和不同的人反复沟通，在沟通过程中参与的人越多，信息衰减也就越厉害。再加上排期的等待，最终的结果一方面可能与初衷有所偏差，另一方面时间一长也失去了对热点关注度，分析变得非常滞后，不能及时的反应线上业务