Hadoop完全分布式集群环境搭建

时间：2023-03-08 17:17:58
Hadoop完全分布式集群环境搭建

1. 在Apache官网下载Hadoop

下载地址：http://hadoop.apache.org/releases.html

选择对应版本的二进制文件进行下载

2.解压配置

以hadoop-2.6.5.tar.gz为例

解压文件

tar -zxvf hadoop-2.6.5.tar.gz

移动到/opt 目录下

mv hadoop-2.6.5 /opt

配置JDK环境变量

追加Hadoop的bin和sbin目录到环境变量PATH中，这里不多讲。

使用 source命令使配置立即生效

例如：source /etc/profile

配置四个配置文件core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml

本例共四个主机，分别是s10,s11,s12,s13

s10：名称结点

s11、s12：数据结点

s13：辅助名称结点

/etc/hosts  文件配置主机映射如下：

Hadoop完全分布式集群环境搭建

core-site.xml 配置

<?xml version="1.0" encoding="UTF-8"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

    <property>

        <name>fs.defaultFS</name>

        <value>hdfs://s10:9000</value>

    </property>

    <property>

        <name>hadoop.tmp.dir</name>

        <value>/opt/hadoop-2.6.5/tmp</value>

    </property>

</configuration>

hdfs-site.xml 配置

<?xml version="1.0" encoding="UTF-8"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

    <property>

        <name>dfs.namenode.secondary.http-address</name>

        <value>s13:50090</value>

    </property>

    <property>

        <name>dfs.replication</name>

        <value>2</value>

    </property>

    <property>

        <name>dfs.namenode.name.dir</name>

        <value>/opt/hadoop-2.6.5/hdfs/name</value>

    </property>

    <property>

        <name>dfs.datanode.data.dir</name>

        <value>/opt/hadoop-2.6.5/hdfs/data</value>

    </property>

</configuration>

mapred-site.xml  配置

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

    <property>

        <name>mapreduce.framework.name</name>

        <value>yarn</value>

    </property>

</configuration>

yarn-site.xml  配置

<?xml version="1.0"?>

<configuration>

    <property>

        <name>yarn.nodemanager.aux-services</name>

        <value>mapreduce_shuffle</value>

    </property>

    <property>

        <name>yarn.resourcemanager.hostname</name>

        <value>s10</value>

    </property>

</configuration>

修改  slaves  文件内容为对应的数据结点

s11

s12

为了保险，此处直接配置JAVA_HOME到 /opt/hadoop-2.6.5/etc/hadoop/hadoop-env.sh 中，防止出现JAVA_HOME is not set and could not be found.错误

hadoop-env.sh文件第一行有效代码（不包含注释）改为

export JAVA_HOME=/usr/soft/jdk1.8.0_181

3. 配置四台主机 ssh 无密码相互访问，复制配置好的 /opt/hadoop-2.6.5 到其它三台主机

快速配置四台主机ssh无密码访问方法如下：

①在四台主机上分别执行 ssh-keygen -t rsa 生成公钥和私钥

②把四台主机的公钥分别追加到s0主机~/.ssh/authorized_keys 文件中

③远程复制 authorized_keys 文件到其它三台主机

更多细节请参考：https://www.cnblogs.com/jonban/p/sshNoPasswordAccess.html

配置完成后使用 ssh 命令在每一台主机上手动登录一下其它三台主机，完成第一次访问的确认，以后就可以直接登录了

远程复制配置好的 /opt/hadoop-2.6.5 到其它三台主机，记得配置JDK环境变量和Hadoop环境变量，参考第2步

4. 格式化文件系统为hdfs

hadoop namenode -format

运行结果如下：

Hadoop完全分布式集群环境搭建

5.  启动Hadoop集群环境

start-dfs.sh

start-yarn.sh

在四台主机上分别输入  jps  命令，查看集群状态，内容如下：

[root@s10 hadoop]# jps
28417 Jps
28163 ResourceManager
27907 NameNode

[root@s11 hadoop]# jps
27083 Jps
26875 DataNode
26972 NodeManager

[root@s12 hadoop]# jps
27095 Jps
26887 DataNode
26984 NodeManager

[root@s13 hadoop]# jps
26882 Jps
26826 SecondaryNameNode

符合集群预期结果

s10：名称结点

s11、s12：数据结点

s13：辅助名称结点

6.验证

浏览器输入地址：

http://192.168.32.110:8088

http://192.168.32.110:50070

这里的IP是主机s10的IP

效果截图如下，地址自动跳转

Hadoop完全分布式集群环境搭建

Hadoop完全分布式集群环境搭建

Hadoop完全分布式集群环境搭建

.

相关文章