详解Ubuntu16.04下Hadoop 2.7.3的安装与配置

一、java环境搭建

（1）下载jdk并解压（当前操作系统为ubuntu16.04，jdk版本为jdk-8u111-linux-x64.tar.gz）

新建/usr/java目录，切换到jdk-8u111-linux-x64.tar.gz所在目录，将这个文件解压缩到/usr/java目录下。

tar -zxvf jdk-8u101-linux-x64.tar.gz -c /usr/java/

（2）设置环境变量

修改.bashrc，在最后一行写入下列内容。

sudo vim ~/.bashrc

export java_home=/usr/java/jdk1.8.0_111
export classpath=.:$java_home/lib/dt.jar:$java_home/lib/tools.jar
export path=$java_home/bin:$path

运行如下命令使环境变量生效。

source ~/.bashrc

 打开profile文件，插入java环境配置节。

sudo vim /etc/profile

export java_home=/usr/java/jdk1.8.0_111
export java_bin=$java_home/bin
export java_lib=$java_home/lib
export classpath=.:$java_lib/tools.jar:$java_lib/dt.jar
export path=$java_home/bin:$path

打开environment 文件，追加jdk目录和jdk下的lib的目录，如下所示。

sudo vim /etc/environment

 

复制代码 代码如下:

path="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/usr/java/jdk1.8.0_111/lib:/usr/java/jdk1.8.0_111" 

 

 

使配置生效

source /etc/environment

验证java环境是否配置成功

java -version

二、安装ssh-server并实现免密码登录

（1）下载ssh-server

sudo apt-get install openssh-server

（2）启动ssh

sudo /etc/init.d/ssh start

（3）查看ssh服务是否启动，如果有显示相关ssh字样则表示成功。

ps -ef|grep ssh

（4）设置免密码登录

使用如下命令，一直回车，直到生成了rsa。

ssh-keygen -t rsa

导入authorized_keys

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

 测试是否免密码登录localhost

ssh localhost

关闭防火墙

ufw disable

三、安装hadoop单机模式和伪分布模式。

（1）下载hadoop-2.7.3.tar.gz，解压到/usr/local（单机模式搭建）。

sudo tar zxvf hadoop-2.7.3.tar.gz -c /usr/local

 切换到/usr/local下，将hadoop-2.7.3重命名为hadoop，并给/usr/local/hadoop设置访问权限。

cd /usr/local
sudo mv hadoop-2.7.3 hadoop
sudo chmod 777 /usr/local/hadoop

（2）配置.bashrc文件

sudo vim ~/.bashrc

（如果没有安装vim，请用 sudo apt install vim 安装。）

在文件末尾追加下面内容，然后保存。

#hadoop variables start
export java_home=/usr/java/jdk1.8.0_111
export hadoop_install=/usr/local/hadoop
export path=$path:$hadoop_install/bin
export path=$path:$hadoop_install/sbin
export hadoop_mapred_home=$hadoop_install
export hadoop_common_home=$hadoop_install
export hadoop_hdfs_home=$hadoop_install
export yarn_home=$hadoop_install
export hadoop_common_lib_native_dir=$hadoop_install/lib/native
export hadoop_opts="-djava.library.path=$hadoop_install/lib"
#hadoop variables end

执行下面命令，使添加的环境变量生效：

source ~/.bashrc

（3）hadoop配置 (伪分布模式搭建)

配置hadoop-env.sh

sudo vim /usr/local/hadoop/etc/hadoop/hadoop-env.sh

# the java implementation to use.
export java_home=/usr/java/jdk1.8.0_111
export hadoop=/usr/local/hadoop
export path=$path:/usr/local/hadoop/bin

 配置yarn-env.sh

sudo vim /usr/local/hadoop/etc/hadoop/yarn-env.sh

# export java_home=/home/y/libexec/jdk1.6.0/
java_home=/usr/java/jdk1.8.0_111

配置core-site.xml，在home目录下创建 /home/lyh/hadoop_tmp目录，然后在core-site.xml中添加下列内容。

sudo mkdir /home/lyh/hadoop_tmp

sudo vim /usr/local/hadoop/etc/hadoop/core-site.xml

<configuration>
    <!-- 指定hdfs老大（namenode）的通信地址 -->
    <property>
        <name>fs.defaultfs</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <!-- 指定hadoop运行时产生文件的存储目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/lyh/hadoop_tmp</value>
    </property>
</configuration>

配置hdfs-site.xml

sudo vim /usr/local/hadoop/etc/hadoop/hdfs-site.xml

<configuration>
    <!-- 指定hdfs副本的数量 -->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

配置yarn-site.xml

sudo vim /usr/local/hadoop/etc/hadoop/yarn-site.xml

<configuration>
<!-- site specific yarn configuration properties -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.shufflehandler</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address</name>
        <value>127.0.0.1:8032</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>127.0.0.1:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>127.0.0.1:8031</value>
    </property>
</configuration>

（4）关机重启系统。

四、测试hadoop是否安装并配置成功。

（1）验证hadoop单机模式安装完成

hadoop version

能够显示hadoop的版本号即可说明单机模式已经配置完成。

（2）启动hdfs使用为分布模式。

格式化namenode

hdfs namenode -format

有 "……has been successfully formatted" 等字样出现即说明格式化成功。注意：每次格式化都会生成一个namenode对应的id，多次格式化之后，如果不改变datanode对应的id号，运行wordcount向input中上传文件时会失败。

启动hdfs

start-all.sh

显示进程

jps 

在浏览器中输入http://localhost:50070/，出现如下页面

输入 http://localhost:8088/，出现如下页面

则说明伪分布安装配置成功了。

停止hdfs

stop-all.sh

五、运行wordcount

（1）启动hdfs。

start-all.sh

（2）查看hdfs底下包含的文件目录

hadoop dfs -ls /

如果是第一次运行hdfs，则什么都不会显示。

（3）在hdfs中创建一个文件目录input，将/usr/local/hadoop/readme.txt上传至input中。

hdfs dfs -mkdir /input
hadoop fs -put /usr/local/hadoop/readme.txt /input

（4）执行以下命令运行wordcount，并将结果输出到output中。

 

复制代码 代码如下:

hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /input /output 

 

出现类似上图的页面说明wordcount运行成功。注意：请将图中红色线框中的内容替换为自己的hadoop-mapreduce-examples-2.7.3.jar文件的路径信息。

（5）执行成功后output 目录底下会生成两个文件 _success 成功标志的文件，里面没有内容。 一个是 part-r-00000 ，通过以下命令查看执行的结果，如下图。

hadoop fs -cat /output/part-r-00000

附：hdfs常用命令

hadoop fs -mkdir /tmp/input       在hdfs上新建文件夹
hadoop fs -put input1.txt /tmp/input 把本地文件input1.txt传到hdfs的/tmp/input目录下
hadoop fs -get input1.txt /tmp/input/input1.txt 把hdfs文件拉到本地
hadoop fs -ls /tmp/output         列出hdfs的某目录
hadoop fs -cat /tmp/ouput/output1.txt 查看hdfs上的文件
hadoop fs -rmr /home/less/hadoop/tmp/output 删除hdfs上的目录
hadoop dfsadmin -report 查看hdfs状态，比如有哪些datanode，每个datanode的情况
hadoop dfsadmin -safemode leave 离开安全模式
hadoop dfsadmin -safemode enter 进入安全模式

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持服务器之家。

原文链接：http://blog.csdn.net/lyhvoyage/article/details/54411836