hadoop单机伪分布式部署方法简单介绍

我是在Linux虚拟机上CentOS操作系统中部署hadoop集群

1、首先最好添加一个hadoop用户（我是直接在root用户下）

  命令：useradd hadoop

             passwd  hadoop

2、安装配置jdk

•   上传jdk的tar包，并使用tar -xvf 进行解压
•   配置环境变量，使用vi/etc/profile 添加以下内容：

 export JAVA_HOME=JAVA的安装路径

export JRE_HOME=$JAVA_HOME/jre

export CLASS_HOME=$JAVA_HOME/lib

export PATH=$PATH:$JAVA_HOME/bin

使用source /etc/profile更新配置

使用java -version 检测是否成功

3、将hadoop-2.6.2.tar.gz安装包上传到虚拟机上，并解压到hadoop用户下的摸个文件夹下

（可以自己新建一个文件夹，将安装的工具都放到该文件夹下）

4、修改配置文件

 进入目录下

• 修改hadoop-env.sh&&hadoop-yarn.sh

vim hadoop-env.sh

添加：

export JAVA_HOME=JAVA的安装路径

vim hadoop-yarn.sh

添加：

export JAVA_HOME=JAVA的安装路径

：wq 保存退出

•  修改core-site.xml  
• 添加以下内容：
  
• <!--指定hdfs的地址 -->
  <property>
  <name>fs.defaultFS</name>
  <value>hdfs://hadoop01:9000</value>
  </property>
  <!--指定hadoop临时目录 -->
  <property>
  <name>hadoop.tmp.dir</name>
  <value>/home/hadoop/app/hadoopdir/tmp</value>
  </property>
  <!--垃圾回收机制，这里设置保留一天，时间单位min -->
  <property>
  <name>fs.trash.interval</name>
  <value>1440</value>
  </property>

• 修改hdfs-site.xml

添加以下内容：

<!--指定HDFS副本的数量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<!--指定namenode的目录 -->
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///home/hadoop/app/ hadoopdir /dfs/name</value>
</property>
<!--指定datanode的目录 -->
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///home/hadoop/app/ hadoopdir /dfs/data</value>
</property>

• 修改maped-site.xml

使用cp mapred-site.xml.template mapred-site.xml修改名称

添加以下内容：

<!--指定mr运行在yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

• 修改yarn-site.xml

添加以下内容：

<!--指定YARN的老大（ResourceManager）的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop01</value>
</property>
<!--指定YARN的服务器 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!--指定YARN的服务器 -->
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>

5、配置hadoop环境变量

vi /etc/profile

添加以下内容：

HADOOP_HOME=/home/hadoop/app/hadoop-2.6.2

PATH=$PATH:$HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

6、格式化namenode

命令：hadoop namenode -format

7、启动hadoop

命令:start-all.sh(start-dfs.sh && start-yarn.sh)

8、验证是否启动成功

命令：jps

NameNode
Jps
SecondaryNameNode
NodeManager
ResourceManager
DataNode