Hadoop平台基本组成

时间：2024-06-29 18:36:32

1、Hadoop系统运行于一个由普通商用服务器组成的计算集群上，能提供大规模分布式数据存储资源的同时，也提供了大规模的并行化计算资源。

2、Hadoop生态系统

Hadoop平台基本组成

3、MapReduce并行计算框架

MapReduce并行计算框架是一个并行化程序执行系统。它提供了一个包含Map和Reduce两个阶段的并行处理模型和过程，提供了一个并行化编程模型和接口，让程序员可以方便快速地编写出大数据并行处理程序。MapReduce以键值对数据输入方式来处理数据，并能自动完成数据的划分和调度管理。

在程序执行时，MapReduce并行计算框架将负责调度和分配计算资源，划分和输入输出数据，调度程序的执行，监控程序的执行状态，并负责程序执行时各计算节点的同步以及中间结果的收集整理。MapReduce框架提供了一组完整的供程序员开发MapReduce应用程序的编程接口。

4、分布式文件系统HDFS

HDFS（Hadoop Distributed File System）是一个类似Google GFS的开源的分布式文件系统。它提供一个可扩展、高可靠、高可用的大规模数据分布式存储管理系统，基于物理上分布在各个数据存储节点的本地Linux系统的文件系统，为上层应用程序提供一个逻辑上成为整体的大规模数据存储文件系统。

与GFS类似，HDFS采用多副本（默认为3个副本）数据冗余存储机制，并提供了有效的数据出错检测和数据恢复机制，大大提高了数据存储的可靠性。

5、分布式数据库管理系统HBase

为了克服HDFS难以管理结构化/半结构化的海量数据的缺点，Hadoop提供了一个大规模分布式数据管理和查询系统HBase。

HBase是一个建立在HDFS之上的分布式数据库，它是一个分布式可扩展的NoSQL数据库，提供了对结构化、半结构化甚至非结构化大数据的实时读写和随机访问能力。HBase提供了基于行、列和时间戳的三维数据管理模型，HBase中每张表的记录数（行数）可以多达几十亿条甚至更多，每条记录可以拥有多达上百万的字段。

6、公共服务模块Common

Common是一套为整个Hadoop系统提供底层支撑服务和常用工具的类库和API编程接口，这些底层服务包括：

①Hadoop抽象文件系统FileSystem、

②远程过程调用RPC

③系统配置工具Configuration以及序列化机制

从0.20及以前的版本中，Common包含HDFS、MapReduce和其它公共项目内容

从0.21版本开始，HDFS和MapReduce被分离为独立的子项目，其余部分内容构成Hadoop Common

7、数据序列化系统Avro

Avro是一个数据序列化系统，用于将数据结构或数据对象转换陈成便于数据存储和网络传播的格式。Avro提供了丰富的数据结构类型，快速可压缩的二进制数据格式，存储持久性数据的文件集，远程调用RPC和简单动态语言集成等功能

8、分布式协调服务框架Zookeeper

①Zookeeper是一个分布式协调服务框架，主要用于解决分布式环境中的一致性问题。Zookeeper主要用于提供分布式应用中经常需要的系统可靠性维护、数据状态同步、统一命名服务、分布式应用配置项管理等功能.

②Zookeeper可用来在分布式环境下维护系统运行管理中的一些数据量不大的重要状态数据，并提供监测数据状态变化的机制，以次配合其他Hadoop子系统（如HBase，Hama）或用户开发的应用系统，解决分布式环境下系统可靠性管理和数据状态维护等问题。

9、分布式数据仓库处理工具Hive

①Hive是一个建立在hadoop之上的数据仓库，用于管理存储于HDFS或HBase中的结构化/半结构化数据。

②它最早由faceBook开发利用于处理并分析大量的用户及日志数据，2008年Facebook将其贡献给Apache成为Hadoop开源项目。

10、数据流处理工具Pig

①Pig是一个用来处理大规模数据集的平台，由Yahoo！贡献给Apache成为的开源项目。它简化了使用Hadoop进行数据分析处理的难度，提供了一个面向领域的高层抽象语言Pig Latin

②通过该语言程序员可以将复杂的数据分析任务实现为Pig操作的数据流脚本，这些脚本最终执行时将被系统自动转换为MapReduce任务链，在Hadoop上加以执行。Yahoo！有大量的MapReduce作业是通过Pig实现的

11、键值对数据库系统Cassandra

Cassandra是一套分布式的K-V型的数据库系统，最初由faceBook开发，用于存储邮箱等比较简单的格式化数据，后FaceBook将Cassandra贡献出来成为Hadoop开源项目

②Cassadra以Amazon专有的完全分布式Dynamo为基础，结合了Google BigTable基于列族（Column Family）的数据模型，提供了一套高度可扩展、最终一致、分布式的结构化键值存储系统。

12、日志数据处理系统Chukwa

Chukwa是一个由Yahoo！贡献的开源数据收集系统，主要用于日志的收集和数据的监控，并与MapReduce协同处理数据。Chukwa是一个基于Hadoop的大规模集群监控系统

继承了Hadoop系统的可靠性

13、科学计算基础工具库Hama

Hama是一个基于BSP并行计算模型（Bulk Synchronous Parallel，大同步并行模型）的计算框架，主要提供一套支撑框架和工具，支持大规模科学计算或者具有复杂数据关联性的图计算。

Hama类似Google公司开发的Pregel，Google利用Pregel来实现图遍历（BFS）、最短路径（SSSp）、PageRank等计算。

Hama可以与Hadoop的HDFS进行完美的整合，利用HDFS对需要运行的任务和数据进行持久化存储。由于BSP在并行化计算模型上的灵活性，Hama框架可在大规模科学计算和图计算方面得到较多的应用，完成矩阵计算、排序计算、PageRank、BFS等不同的大数据计算和处理任务、、

14、数据分析挖掘工具库Mahout

Mahout来源于Apache Lucene 子项目，其主要目标是创建并提供经典的机器学习和数据挖掘并行化算法类库，以便减轻需要使用这些算法进行数据分析挖掘的程序员的编程负担，不需要自己实现这些算法。Mahout现在已经包含了聚类、分类、推荐引擎、频繁项集挖掘等广泛使用的机器学习和数据挖掘算法。

②此外他还包含数据输入输出工具，以及与其他数据存储管理系统进行数据集成的工具和架构。

15、关系数据交换工具Sqoop

Sqoop是SQL-to-Hadoop的缩写，是一个在关系数据库与Hadoop平台进行快速批量数据交换的工具。

②他可以将一个关系数据库中的数据批量导入Hadoop的HDFS、HBese、Hive中，也可以反过来讲Hadoop平台中的数据批量导入关系数据库中。

③Sqoop充分利用了Hadoop MapReduce的并行化优点，整个数据交换过程基于MapReduce实现并行化的快速处理。

16/ 日志数据收集工具Flume

Flume是由Cloudera开发维护的一个分布式、高可靠。高可用、适合复杂环境下大规模日志数据采集的系统。他将数据从产生、传输、处理、输出的过程抽象为数据流。并允许在数据源中定义数据发送方，从而支持收集于各种不同传输协议的数据，并提供了对日志数据进行简单的数据过滤、格式转换等处理能力。输出时，Flume可支持将日志数据写往用户定制的输出目标

开始搭建hadoop，搭建hadpoo-1.1.2

1、下载hadoop-1.1.2

# wget http://apache.mirrors.hoobly.com/hadoop/common/hadoop-1.1.2/hadoop-1.1.2.tar.gz

2、新建 linux 终端，建立app目录，Hadoop都将安装在此目录中。

# mkdir   /app

3、接下来，安装Hadoop，Hadoop解压即可。

# mv hadoop-1.1.2.tar.gz  /app      将下载的压缩文件移动到app文件中

# cd  /app

# tar -zxf  hadoop-1.1.2.tar.gz

4、安装JDK-7,在安装的过程中，我先更换了更新源，通过命令安装

# apt-get install openjdk-7-jdk

安装完后通过一个helloworld的例子测试了一下，结果可以。

5、 配置JDK和hadoop的环境变量

# vi  /etc/profile

在最后添加一下内容

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64

export HADOOP_HOME=/app/hadoop-1.1.2

export PATH=$JAVA_HOME/bin: ${HADOOP_HOME}/bin:$PATH

export CLASSPATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:${HADOOP_HOME}/conf

6、 配置hadoop,指定jdk安装路径

# cd  /app/hadoop-1.1.2

# vi   conf/hadoop-env.sh

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64

7、 修改Hadoop核心配置文件core-site.xml，这里配置的hadoop临时文件夹，HDFS的地址和端口号，设置心跳时间间隔

# vi conf/core-site.xml

hadoop.tmp.dir/app/hadoop_tmp

fs.default.namehdfs://master :9000

heartbeat.recheck.interval3

8、修改Hadoop中HDFS的配置，配置的备份方式默认为3，因为slaves数为2，所以需要改为2

vi conf/hdfs-site.xml



dfs.name.dir/root/dfs_name1,/root/dfs_name2



dfs.data.dir/root/dfs_data1,/root/dfs_data2



dfs.replication2





9、修改Hadoop中MapReduce的配置文件，配置的是JobTracker的地址和端口


gedit conf/mapred-site.xml





mapred.job.trackermaster:9001



mapred.local.dir/root/mapred_local





9、修改 conf/masters 和conf/slaves文件


#vi  masters


master


#vi  slaves


slave1


slave2


10、然后，把配置好的hadoop文件打包扔到两个slave相同的目录下




scp -r /app/hadoop-1.1.2 slave1:/app/



scp -r /app/hadoop-1.1.2 slave2:/app/





11、接下来，启动Hadoop，在启动之前，需要格式化Hadoop的文件系统HDFS，进入Hadoop文件夹，输入下面命令


hadoop namenode -format



       添加轻松启动项

gedit ~/.bashrc





加入


alias  starthadoop='/app/hadoop-1.1.2/bin/start-all.sh'
alias  stophadoop='/app/hadoop-1.1.2/bin/stop-all.sh'
alias  restarthadoop='stophadoop&&starthadoop'


执行


source ~/.bashrc


然后启动Hadoop，输入命令


starthadoop



这个命令为所有服务全部启动。


最后，验证Hadoop是否安装成功。打开浏览器，分别输入一下网址：


http://master:50030    (MapReduce的Web页面)


http://master:50070    (HDfS的web页面)
相关文章