集成Hadoop到数据中心

时间:2021-10-09 17:40:56

集成Hadoop到数据中心主要通过有Hadoop的数据中心与没有Hadoop的数据中心之间对比,以及使用Hadoop之后带来的数据流的一些改变等方面进行阐述,对于直观了解Hadoop的应用有着一定作用。

一、典型的没有Hadoop的数据中心

集成Hadoop到数据中心


二、典型的使用Hadoop的数据中心

集成Hadoop到数据中心


三、下面我们通过一个银行的大数据平台架构解决方案来了解一下Hadoop的实际应用:

集成Hadoop到数据中心


四、通过了解各技术的优劣,明确建立最好数据中心的方法

集成Hadoop到数据中心


五、应用各技术建立的产品推荐的数据流示意

集成Hadoop到数据中心


六、我们通过Orbitz公司实际案例了解一下使用Hadoop前后的数据流变化:

1、Orbitz(使用Hadoop前):之前点击数据的DW处理,在DW中使用存储过程来完成数据清晰的步骤,在数据仓库消耗相当多的资源和时间

集成Hadoop到数据中心

2、Orbitz(使用Hadoop后):Hadoop点击数据处理,清除了ETL步骤,原始日志上传到HDFS,把大数据的深加工处理放到Hadoop里执行。

 集成Hadoop到数据中心


以上就是根据自己的知识体系为大家总结的关于集成Hadoop到数据中心的一些应用及案例,对于大家了解和认知Hadoop的作用有一定意义。我平常也喜欢关注一些学习资讯和资料,如“大数据cn”,里面就描述一些实际应用中关于大数据的一些案例,在“大数据时代学习中心”里面有一些知识的分享,我习惯于用自己的知识架构和别人分享的相碰撞,不断完善自己的知识体系,然后再去看一些案例,通过案例分析不断巩固和加强自己。