Hadoop安装配置之伪分布式安装

Hadoop伪分布式安装

版本选择2.7.X，我选择的是2.7.3
安装过程
安装前准备

（1）上传解压
（2）查看目录结构（删除以下文件）
bin/*.cmd
sbin/*.cmd
share/doc
（3）修改3个模块的环境变量，修改JAVA_HOME的值为jdk的安装路径
hadoop-env.sh（23行）
yarn-env.sh（26行）
mapred-env.sh（16行，需要先取消注释再修改）
给三个文件增加执行权限
chmod u+x hadoop-env.sh yarn-env.sh mapred-env.sh
按照模块来进行配置
Hadoop官网有部分配置信息，但是不全http://hadoop.apache.org/docs/r2.7.6/hadoop-project-dist/hadoop-common/SingleCluster.html#Pseudo-Distributed_Operation

（1）common（在Hadoop安装目录的/etc/hadoop下）

修改core-site.xml文件
可以将原有的注释都删掉，配置如下图，将local更改为自己的主机名，在Hadoop目录下创建自己的临时目录

（2）HDFS
修改hdfs-site.xml文件

slaves
修改slaves文件

启动HDFS：
第一次使用文件系统需要格式化
->格式化文件系统
先切换到Hadoop安装的根目录下
bin/hdfs namenode -format

->启动主节点
sbin/hadoop-daemon.sh start namenode
->启动从节点
sbin/hadoop-daemon.sh start datanode
检查成功的两种方式
a、Hadoop安装目录下输入jps（或 ps -ef|grep java）

b、通过webUI界面查看（看到以下界面为成功）
hostname:50070

（3）配置YARN
修改yarn-site.xml

->启动主节点
sbin/yarn-daemon.sh start resourcemanager
->启动从节点
sbin/yarn-daemon.sh start nodemanager
检查成功的两种方式
a、jps（ps -ef|grep java）

b、webUI界面查看
hostname.8088

（4）配置MapReduce
etc目录下没有mapred-site.xml文件，但是有mapred-site.xml.template文件，需要将mapred-site.xml.template文件赋值一份到当前文件夹，且文件名为mapred-site.xml
先切换到Hadoop安装目录下的etc/hadoop下
然后：cp mapred-site.xml.template mapred-site.xml
修改mapred-site.xml文件

测试HDFS
帮助文档

bin/hdfs dfs
HDFS文件系统目录和Linux目录结构类似，
命令也类似
创建目录：
bin/hdfs dfs -mkdir /datas
查看目录：
bin/hdfs dfs -ls /datas
上传文件：
bin/hdfs dfs -put /opt/datas/input.data /datas/
查看文件内容：
bin/hdfs dfs -text /datas/input.data bin/hdfs dfs -cat /datas/input.data
下载文件：
bin/hdfs dfs -get /datas/input.data ./
删除文件
bin/hdfs dfs -rm -r /datas/input.data

对于分布式资源管理和任务调度来说哪些程序可以运行在YARN之上

MapReduce
并行数据处理框架
spark
基于内存分布式处理框架
storm/flink
实时流式处理框架
TeZ
分析数据，比MapReduce速度快

测试Hadoop

mapreduce程序运行在YARN上
通过经典程序案例，wordcount，
Hadoop提到测试案例在share/mapreduce目录下
/opt/modules/hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar
-》准备数据，数据是放到hdfs上
在HDFS系统下创建一个datas目录
bin/hdfs dfs -mkdir /datas
准备一个文件，文件内容可以随意添加单词或字符，完了保存，将该文件上传到HDFS上
切换到Hadoop的安装目录下上传文件
bin/hdfs dfs -put /opt/datas/input.data /datas/
在http://bigdata-hpsk02.huadian.com:50070下查看结果

-》提交运行
bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /datas/input.data /output1
hostname.8088能够看到结果

点击上图的history后会找不到页面，需要配置历史服务器

进行运算的是mapred-site.xml，所以历史服务器在mapred-site.xml中进行配置，增加以下的配置
<property> <name>mapreduce.jobhistory.address</name> <value>bigdata-hpsk02.huadian.com:10020</value> </property>
启动历史服务器
sbin/mr-jobhistory-daemon.sh start historyserver

注意：在启动historyServer服务之前运行的job相关信息已经没了，只有后面运行的才有。
成功后再执行一次词频统计测试，单击history能够进入以下页面，端口号为19888

单击上图中标出的1，会报错，还应该配置日志内聚功能，因为m、MapReduce运行在YARN之上，所以日志内聚应该在yarn-site.xml文件中进行配置

当MapReduce程序在YARN上运行完成之后，将产生日志文件上传到HDFS目录中，以便后续查看。
 <property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property>
·
 <property> <name>yarn.log-aggregation.retain-seconds</name> <value>604800</value> </property>

这样，整个伪分布式Hadoop环境就搭建好了

秒客网

Hadoop安装配置之伪分布式安装

Hadoop伪分布式安装

相关文章