Linux环境搭建Hadoop伪分布模式

时间：2021-07-04 18:20:39

Hadoop有三种分布模式：单机模式、伪分布、全分布模式，相比于其他两种，伪分布是最适合初学者开发学习使用的，可以了解Hadoop的运行原理，是最好的选择。接下来，就开始部署环境。

首先要安装好Linux环境，可以是真机，也可以是虚拟机，我的环境是VMWare下安装的CentOS 6.3的虚拟机，如果你还没有安装好Linux环境，可以参考我的另一篇文章：window7环境下VMWare自定义安装Linux虚拟机完全教程，希望可以帮到你。

等你安装好了Linux环境，我们就可以真正开始部署hadoop了。

需要准备好Linux版本的jdk和hadoop的压缩包，可以分别去官网下载，我也提供我的资源给大家参考：链接：http://pan.baidu.com/s/1mhKixFq 密码：6lqt；

1.添加用户和组，并上传文件

  • 用管理员root登录Linux，创建hadoop用户组：groupadd hadoop，
  • 创建用户：useradd hadoop -g hadoop ，
  • 使用传输软件将到Linux系统的任意目录下，如/root/sethadoop；
  • 使用命令：su hadoop切换用户，查看是否创建成功，出现[root@localhost ~]表示创建成功；
  • 然后exit退出到root用户。
  • （注：在学习安装Hadoop之前，最好学习和熟悉一下Linux的常用命令）。

2.Host的配置

vim /etc/hosts 进入配置文件，添加linux主机的ip地址和主机名；需要查看你自己的主机名，ifconfig；

Linux环境搭建Hadoop伪分布模式



vim /etc/sysconfig/network，设置主机名，以后所有的主机名都必须统一；

source /etc/sysconfig/network ，重新加载配置文件后生效；

Linux环境搭建Hadoop伪分布模式

logout 登出后重新登录，发现主机名变为[root@master ~]#

3.SSH和无密码登录

安装SSH客户端：yum -y install openssh-client；
输入ssh localhost ，出现提示信息，输入yes
Linux环境搭建Hadoop伪分布模式

切换到hadoop用户，su hadoop；
生成无密码的‘公私钥’：
ssh-keygen -t dsa -P '' -f ~/ssh/id_dsa
cat ~/.ssh/id_dsa.pub>>~/.ssh/authorized_keys

Linux环境搭建Hadoop伪分布模式

修改权限：chmod 600 ~/.ssh/authorized_keys，chmod 700 .ssh/

测试一下，ssh master，-》yes，然后退出hadoop登录，exit

4.JDK的安装

进入到jdk安装包存放的目录下，我的是/root/set，

创建安装Java的目录，mkdir /usr/java

解压到/usr/java：tar -zxvf jdk-7u9-linux-i586.tar.gz -C /usr/java

为Java安装目录建一个软连接，方便使用：ln -s jdk1.7.0_09/ jdk

(以上操作都视你的jdk版本和存储位置而定，切忌照搬)

修改环境变量，vim /etc/profile ,在文件末尾添加如下信息，也可再添加

CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar；

有过window中jdk安装经验的童鞋会比较熟悉的。

Linux环境搭建Hadoop伪分布模式

退出保存文件，重新加载配置文件，source /etc/profile.

验证Java是否安装成功：java -version，这个有Java开发经验的都知道吧。。。

5.hadoop的安装

使用root用户登录，进入你的hadoop压缩包的目录，

解压:tar -zxvf hadoop-1.0.4.tar.gz -C /opt/,解压目录/usr/也行，根据自己选择；

进入/opt目录下，更改一下文件夹的名字，方便使用，mv hadoop-1.0.4/ hadoop/;

修改用户组和权限：chown -R hadoop:hadoop hadoop/

登录hadoop用户，su hadoop；

配置 vim conf/hadoop-env.sh，在末尾添加：

Linux环境搭建Hadoop伪分布模式

第二个变量可以不是256M，根据你的内存大小而定，也可以是512M或更大；

配置 vim conf/core-site.xml 在<configuration>中添加：

Linux环境搭建Hadoop伪分布模式

配置vim conf/hdfs-site.xml,如下，由于是伪分布式，所以replication配1就行

Linux环境搭建Hadoop伪分布模式

配置 conf/mapred-site.xml:主机名要一致；

Linux环境搭建Hadoop伪分布模式

配置辅助接点名称，conf/masters，就添加一个master就行

配置子节点，conf/slave 也是添加一个master就行

经过以上步骤，hadoop的配置文件就全部配置好了，不要忘记：wq退出保存哦。

格式化分布式文件系统:进入hadoop的bin目录，

执行 ./hadoop namenode -format，完成后是这样的：

Linux环境搭建Hadoop伪分布模式

启动hadoop集群：./start-all.sh,

Linux环境搭建Hadoop伪分布模式

检查hadoop结点是否全部启动成功：共6个结点，一个都不能少，

如果哪个结点没有出现，说明其出错了，请进入logs目录下的日志文件查看相应的日志文件，并修改，

具体方法请查看其它网络资源；

Linux环境搭建Hadoop伪分布模式

查看hadoop集群的状态信息：

在浏览器地址栏输入：http://192.168.64.128:50070/ (ip是你自己服务器的ip)

Linux环境搭建Hadoop伪分布模式

出现上图信息，说明你的hadoop伪分布模式就配置成功了！

（注：如果运行jps没有问题，而上面的页面加载不出来的话，请试着关闭防火墙：service iptables stop）

相关文章