文件名称：(hadoop HDFS 和 Mapreduce 架构浅析
文件大小：668KB
文件格式：PDF
更新时间：2016-04-11 09:09:21
hadoop Mapreduce
Hadoop 是一个基于 Java 的分布式密集数据处理 和数据分析的软件框架。Hadoop 在很大程度上是受 Google 在 2004 年白皮书中阐述的 MapReduce 技术的 启发。MapReduce 工作原理是将任务分解为成百上千 个小任务，然后发送到计算机集群中。每台计算机再 传送自己那部分信息，MapReduce 则迅速整合这些反 馈并形成答案。简单来说，就是任务的分解和结果的 合成。 Hadoop 的扩展性非常优秀，Hadoop 可处理分布在 数以千计的低成本 x86 服务器计算节点中的大型数 据。这种高容量低成本的组合引人注目，但 Hadoop 最吸引人的是其处理混合数据类型的能力。Hadoop 可 以管理结构化数据，以及诸如服务器日志文件和 Web 点击流的数据。同时还可以管理以非结构化文本为中 心的数据，如 Facebook 和 Twitter。