搭建ubuntu14.04的hadoop集群【docker容器充当服务器】

时间：2022-10-15 08:12:52

首先弄出来装有hadoop、java、ssh、vim的镜像起名badboyf/hadoop。
做镜像有两种方法，一种是用Dockerfile来生成一个镜像，一种是基于ubuntu14.04的基础镜像生成容器后进入容器设置完成后，根据容器打成新的镜像。这是第一次弄，各种不会的地方，所以用第二种方法，弄出来后会如果有时间在写Dockerfile来生成镜像。(为什么尽量用Dockerfile生成镜像，由容器生成的镜像特别大，比想象中的大，而且Dockerfile容易传输)

开始

首先需要ubuntu14.04的镜像，拉取镜像：

docker pull ubuntu:14.04

根据镜像生成一个容器：（这个容器ip为172.17.0.2 ip是自动生成的）

docker run -it --name hadoop ubuntu:14.04 /bin/bash

/bin/bash这个是启动命令，当执行完这条语句后就会直接进入容器并交给一个终端。
由于是ubuntu的镜像，需要修改源，自带的源在国内速度太慢

vi /etc/apt/sources.list

将下面的代码替换掉源文件的代码：

deb http://mirrors.aliyun.com/ubuntu/ trusty main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ trusty-security main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ trusty-updates main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ trusty-proposed main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ trusty-backports main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ trusty main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ trusty-security main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ trusty-updates main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ trusty-proposed main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ trusty-backports main restricted universe multiverse
apt-get update 
apt-get install vim-gtk
apt-get install openssh-server

下载需要的软件，要操作系统，还不会用vi所以下了个vim，下载ssh因为hadoop和jdk的安装包已经下载好了需要传到容器中，并且集群的搭建也需要用到ssh。
容器中其实就是ubuntu的操作系统，所以就大胆的弄，把需要的包都传上来并安装，在容器中执行

service ssh start
scp root@192.168.1.30:/home/hadoop-3.0.0-alpha1-src.tar.gz /
scp root@192.168.1.30:/home/jdk-8u102-linux-x64.tar.gz /
tar -zxvf jdk-8u102-linux-x64.tar.gz /usr/local/java/ 
mv /usr/local/java/jdk1.8.0_102 /usr/local/java/jdk1.8 
tar -zxvf hadoop-3.0.0-alpha1-src.tar.gz .

#配置
vim /etc/profile
#下面这些粘到最后面export JAVA_HOME=/usr/local/java/jdk1.8
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
export HADOOP_INSTALL=/hadoop-3.0.0-alpha1
export PATH=$PATH:$HADOOP_INSTALL/bin:$HADOOP_INSTALL/sbin

#这个参数在搭建集群的时候会用到
touch /etc/profile.d/hadoop_home_env.sh
vim /etc/profile.d/hadoop_home_env.sh
# 加上
export HADOOP_HOME=/hadoop-3.0.0-alpha1

输入 java -version 查看java安装是否成功，输入hadoop 查看hadoop是都安装成功。
确保安装成功后，开始集群的配置：(一下配置 copy自 http://blog.csdn.net/u010499619/article/details/52886872 稍做修改)
hadoop3.0需要配置的文件有core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml、hadoop-env.sh、workers都在hadoop安装目录的/etc/hadoop下

1.core-site.xml配置文件 
<configuration>  
  <property>  
    <name>fs.defaultFS</name>   
     <value>hdfs://master:9000</value>  
  </property>  
  <property>  
      <name>hadoop.tmp.dir</name>  
      <value>/hadoop-3.0.0-alpha1/tmp</value>  
  </property>  
</configuration>

2.hdfs-site.xml配置文件

<configuration>  
 <property>  
   <name>dfs.replication</name>  
   <value>1</value>  
 </property> 
</configuration>

3.workers中设置slave节点，将slave机器的名称写入

slave1

4.mapred-site配置
(加黑的部分是因为我电脑上docker容器上的内存不够，执行mapreduce程序时Container [] is running beyond virtual memory limits。随自己的电脑情况来看，如果不是容器，虚拟机或真机的话，这应该不会有问题。

cp mapred-site.xml.template mapred-site.xml  
<configuration>  
    <property>  
        <name>mapreduce.framework.name</name>  
        <value>yarn</value>  
    </property>

　　<property>
　　　　<name>mapreduce.map.memory.mb</name>
　　　　<value>1024</value>
　　</property>
　　<property>
　　　　<name>mapreduce.map.memory.mb</name>
　　　　<value>800</value>
　　</property>

　　<property>
　　　　<name>mapreduce.map.java.opts</name>
　　　　<value>-Xmx256m</value>
　　</property>
　　<property>
　　　　<name>mapreduce.reduce.java.opts</name>
　　　　<value>-Xmx512m</value>
　　</property>

<property>  
 <name>mapreduce.application.classpath</name>  
 <value>  
  /hadoop-3.0.0-alpha1/etc/hadoop,  
  /hadoop-3.0.0-alpha1/share/hadoop/common/*,  
 /hadoop-3.0.0-alpha1/share/hadoop/common/lib/*, /hadoop-3.0.0-alpha1/share/hadoop/hdfs/*, /hadoop-3.0.0-alpha1/share/hadoop/hdfs/lib/*, /hadoop-3.0.0-alpha1/share/hadoop/mapreduce/*, /hadoop-3.0.0-alpha1/share/hadoop/mapreduce/lib/*, /hadoop-3.0.0-alpha1/share/hadoop/yarn/*, /hadoop-3.0.0-alpha1/share/hadoop/yarn/lib/*  
 </value>  
</property>  
</configuration>

5.yarn-site.xml配置

<configuration>  
    <property>  
        <name>yarn.nodemanager.aux-services</name>  
        <value>mapreduce_shuffle</value>  
    </property>  
    <property>  
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>  
        <value>org.apache.hadoop.mapred.ShuffleHandle</value>  
    </property>  
    <property>  
        <name>yarn.resourcemanager.resource-tracker.address</name>  
        <value>master:8025</value>  
    </property>  
    <property>  
        <name>yarn.resourcemanager.scheduler.address</name>  
        <value>master:8030</value>  
    </property>  
    <property>  
        <name>yarn.resourcemanager.address</name>  
        <value>master:8040</value>  
    </property>  
</configuration>

6.hadoop-env.sh中配置java_home

export JAVA_HOME=/usr/local/java/jdk1.8.0_101  #必须设置，即使配置了在profile中配置了java_home得设置

这样基础的容器搭建好，ctrl + d 或者 exit 退出容器。

docker commit hadoop badboyf/hadoop

docker images 查看镜像
这个镜像是特别大的，我打出来两个多G，所以说还是用Dockerfile来打镜像
使用docker做这个测试的原因就是比较懒，不想装两个虚拟机，还是比较懒，所以直接就用这个容器当做了master，在根据生成的镜像生成一个slave1节点。(ip:172.17.0.3)

docker run -it --name slave1 --link hadoop:master badboyf/hadoop:latest /bin/bash

用--link是新生成的容器能根据别名(master)就能找到hadoop这个容器，进入容器后查看 /etc/hosts 文件多了一行

127.0.0.1       localhost
::1     localhost ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
172.17.0.2 master 029b3703b460 hadoop 172.17.0.3      1c0160d6ad3d slave1
172.17.0.2      master 029b3703b460 hadoop这个是--link自动加的
下面的slave1是手动加的，使用slave1也能让这个容器认识自己，因为 $HADOOP_INSTALL/etc/hadoop/worders 中写的是slave1

也要修改hadoop容器中的 /etc/hosts 文件：

127.0.0.1       localhost
::1     localhost ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
172.17.0.2      029b3703b460 master 172.17.0.3      1c0160d6ad3d slave1

加黑的部分是各自的容器的主机的名(终端输入hostname查看)及自己hadoop配置中用到的名，这里是手动加的，在生产环境肯定不是这么玩的，但是水平有限，先能程序跑通在优化吧。为什么要把主机的名也添加上，mapreduce程序在跑的时候有一步resourcemanager需要连slave1用的就是主机名。而且在/etc/hosts文件在容器重启的时候会恢复最后备份一下，到时候直接粘过去，还是水平有限。还有重启的时候/etc/profile、/etc/profile.d/里边的文件 需要重新source一下。ssh服务需要重启(service ssh restart)。
配置两个容器间免密码登陆：

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa  #两个容器都生成公钥，生成~/.ssh/id_rsa.pub、~/.ssh/id_rsa

把id_rsa.pub里面的内容分别复制到对方的容器中～/.ssh/authorized_keys文件中。测试过程中最好也配置一下本身容器的免密码登陆，可以测试一下hosts中是否配置成功。

到这里，配置已经完事。开始测试程序是否能在集群里跑通。
格式化namenode：这步一定要先执行(主从节点都执行)

hdfs namenode -format

启动dfs及yarn(启动程序之类的脚本都在 hadoop安装目录/sbin/  目录下)(这步只需在主节点执行，当主节点执行完成后，到从节点容器中用jps命令查看，会发现已经启动了需要启动的程序)

start-dfs.sh  
start-yarn.sh

测试mapreduce程序：(跑程序前需要先穿件好输入文件)

hadoop fs -mkdir /input
hadoop fs -put /README.txt /input
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.0.0-alpha1.jar grep /input /output 'dfs[a-z]+'

 

遇到的各种问题：

程序运行期间可能会出现各种问题，这是需要把log级别放宽点，打开DEBUG级别：

export HADOOP_ROOT_LOGGER=DEBUG,console
export HADOOP_ROOT_LOGGER=INFO    #处理完问题在把级别设成info，debug输出的东西太多了

java.net.ConnectException: Connection refused：
先看看hdfs是否启动了，在看看ssh服务是否启动，然后确定自己配置的master，slave1能否在各自的容器中识别，可以利用ssh。

libexec 中的文件不能执行之类的问题：
/etc/profile.d/   里边的文件配置HADOOP_HOME环境变量出错。

在执行中一直停在running job：
打开debug级别，如果一直在connect to 一堆乱七八糟的字母，因为hosts中配置的问题，把从节点主机名与ip对应

hfds系统默认生成的文件系统在/tmp/下，如果感觉是操作文件系统时发生什么状况(比如更改配置后在用hadoop fs时就报错之类的问题)，需要重新格式化一下，把所有的都停了:

stop-yarn.sh
stop-dfs.sh

然后

rm -fr /tmp
hdfs namenode -format

删掉目录里的东西，如果你的系统中这个目录有其他有用的文件，到这个里面找到有关hadoop的文件夹在删掉。然后在重新format。如果还不好用，看看是不是core-site.xml文件里边的配置有问题。

标签：

相关文章