Hadoop 2.6.1 集群安装配置教程

时间：2023-03-09 07:28:17
Hadoop 2.6.1 集群安装配置教程

集群环境：

192.168.56.10 master

192.168.56.11 slave1

192.168.56.12 slave2

  1. 下载安装包/拷贝安装包
# 存放路径：

cd /usr/local/src

# 下载：

> wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.8.2/hadoop-2.8.2.tar.gz

# 解压：

> tar zxvf hadoop-2.6.1
  1. 修改 hadoop 配置文件
#Master  节点

> cd /usr/local/src/hadoop-2.6.1/etc/hadoop

# 配置环境hadoop环境

> vim hadoop-env.sh

# 添加Java 路径

> export JAVA_HOME=/usr/local/src/jdk1.8.0_181

# 配置 yarn 的环境

>vim yarn-env.sh

# 添加Java路径

export JAVA_HOME=/usr/local/src/jdk1.8.0_181

# 在 slaves 文件配置从节点

> vim slaves

slave1

slave2

# 配置 core-site.xml，添加下面的内容

> vim core-site.xml

<configuration>

<property>

<name>fs.defaultFS</name>

<value>hdfs://192.168.56.10:9000</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>file:/usr/local/src/hadoop-2.6.1/tmp</value>

</property>

</configuration>

# 配置hdfs-site.xml, 添加下面的内容

vim hdfs-site.xml

<configuration>

<property>

<name>dfs.namenode.secondary.http-address</name>

<value>master:9001</value>

</property>

<property>

<name>dfs.namenode.name.dir</name>

<value>file:/usr/local/src/hadoop-2.6.1/dfs/name</value>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>file:/usr/local/src/hadoop-2.6.1/dfs/data</value>

</property>

<property>

<name>dfs.replication</name>

<value>3</value>

</property>

</configuration>

# 配置mapred-site.xml，添加下面的内容

> vim mapred-site.xml

<configuration>

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

</configuration>

#配置yarn-site.xml，添加下面的内容

> vim yarn-site.xml

<configuration>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<property>

<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

<value>org.apache.hadoop.mapred.ShuffleHandler</value>

</property>

<property>

<name>yarn.resourcemanager.address</name>

<value>master:8032</value>

</property>

<property>

<name>yarn.resourcemanager.scheduler.address</name>

<value>master:8030</value>

</property>

<property>

<name>yarn.resourcemanager.resource-tracker.address</name>

<value>master:8035</value>

</property>

<property>

<name>yarn.resourcemanager.admin.address</name>

<value>master:8033</value>

</property>

<property>

<name>yarn.resourcemanager.webapp.address</name>

<value>master:8088</value>

</property>

</configuration>

#创建临时目录和文件目录

mkdir /usr/local/src/hadoop-2.6.1/tmp

mkdir -p /usr/local/src/hadoop-2.6.1/dfs/name

mkdir -p /usr/local/src/hadoop-2.6.1/dfs/data
  1. 配置环境变量
#Master、Slave1、Slave2

vim ~/.bashrc

HADOOP_HOME=/usr/local/src/hadoop-2.6.1

export PATH=$PATH:$HADOOP_HOME/bin

#刷新环境变量

source ~/.bashrc
  1. 拷贝安装包，把安装目录连同已经配置好的配置文件一起传输到从节点
# Master

scp -r /usr/local/src/hadoop-2.6.1 root@slave1:/usr/local/src/hadoop-2.6.1

scp -r /usr/local/src/hadoop-2.6.1 root@slave2:/usr/local/src/hadoop-2.6.1
  1. 启动集群
# Master

# 初始化Namenode

hadoop namenode -format

# 启动集群

cd /usr/local/src/hadoop-2.6.1/sbin

./start-all.sh
  1. 查看集群状态
# Master

> jps

10624 NameNode

26517 Jps

10825 SecondaryNameNode

10969 ResourceManager

# Slave1 & Slave2

> jps

23760 Jps

7197 NodeManager

7102 DataNode
  1. 监控网页
http://192.168.56.10:8088
  1. 操作命令
1) 查看HDFS的文件

hadoop fs -ls /

2) 查看文件内容

hadoop fs -cat /filename

3) 上传文件

hadoop fs -put 本机文件  /fs文件路径

hadoop fs -put /usr/local/src/tmp/test.java /
  1. 关闭集群
> cd  /usr/local/src/hadoop-2.6.1/sbin

> ./stop-all.sh

注意！！！

  1. 如果配置完成后，启动hadoop报错，那么根据报错的内容去logs文件夹中找到对应的文件，查看并分析日志。改完错误后，需要清除dfs文件夹和tmp文件夹里面的内容，master、slave1、slave2都要清除，不只是清理master而已。
  2. Centos7关闭防火墙的方法

    临时关闭

    systemctl stop firewalld

    禁止开机自启

    systemctl disable firewalld

相关文章