腾讯海量数据处理平台TDW

时间:2022-08-23 17:21:11

TDW是腾讯海量数据处理平台中最核心的模块,它有以下几个作用:

  1. 提供海量的离线计算和存储服务。TDW是腾讯内部规模最大的离线数据处理平台,公司内大多数业务的产品报表、运营分析、数据挖掘等的存储和计算都是在TDW中进行。这是TDW提供的最基础的服务。

  2. 数据集中于共享功能。腾讯产品线较长,数据丰富,为了挖掘数据价值,经常需要访问多个产品的数据。TDW是腾讯公司级的数据仓库,这里集中了大多数业务的数据,业务在这里可以方便的进行数据共享和管理。

  3. TDW为其他大数据服提供基础和平台。这 有两个含义,首先是TDW对腾讯内部开放各种API接口,很多业务的数应用、数据处理平台可以基于TDW之上,由TDW提供最基础的存储于计算,业务在 TDW之上定制个性化的数据产品。其次,TDW内存放了腾讯大量有价值的数据,对于这些数据,各个业务有可能有一些不同的需求,这些需求可以抽象出一些固 定的数据服务,如海量数据点查询、快速多维分析、流式计算等,这些服务是TDW衍生出来的精细化的服务。

与其他商业数据库比,当然是成本优势。与社区的hive+hadoop比,TDW包含了大量功能,稳定性和性能优化,并且经过了腾讯生产环境的验证。

在架构上,TDW并没有对开源软件做大的修改。TDW的存储和计算,主要采用hadoop的HDFS和MapReduce,TDW的SQL查询引擎主要基于Hive。