CentOS上安装Hadoop2.7，添加数据节点，运行wordcount

时间：2022-06-05 17:19:14

安装hadoop的步骤比较繁琐，但是并不难。

在CentOS上安装Hadoop2.7

1. 安装 CentOS，注：图形界面并无必要

2. 在CentOS里设置静态IP，手工编辑如下4个文件

  • /etc/hosts
  • /etc/sysconfig/netwok
  • /etc/hostname
  • /etc/sysconfig/network-scripts/ifcfg-eno1677773

3. 关闭防火墙

  • Close firewalld
  • systemctl stop firewalld.service #停止firewall
  • systemctl disable firewalld.service #禁止firewall开机启动

4. 设置ssh无密登录

l   去掉/etc/ssh/sshd_config其中2行的注释

#RSAAuthentication yes

#PubkeyAuthentication yes

l  
输入命令，ssh-keygen -t rsa，生成key，都不输入密码，一直回车，/root就会生成.ssh文件夹，每台服务器都要设置

l  
合并公钥到authorized_keys文件，在Master服务器，进入/root/.ssh目录，通过SSH命令合并，

cat id_rsa.pub>> authorized_keys

l  
把Master服务器的authorized_keys、known_hosts复制到Slave服务器的/root/.ssh目录

5. 为提高软件下载速度，可以把软件安装库转向阿里云

6. Install net-tools, yum, wget,
vim

7. Install Java

  • Yum list java*
  • [root@beta-new1 www]# yum -y install java-1.8.0-openjdk.x86_64

8. Configure Java

  • [root@localhost ~]# which java

     

    /usr/bin/java

     

    [root@localhost ~]# ls -lrt /usr/bin/java

     

    lrwxrwxrwx. 1 root root 22 Aug 17 15:12
    /usr/bin/java -> /etc/alternatives/java

     

    [root@localhost ~]# ls -lrt
    /etc/alternatives/java

     

    lrwxrwxrwx. 1 root root 46 Aug 17 15:12
    /etc/alternatives/java -> /usr/lib/jvm/jre-1.7.0-openjdk.x86_64/bin/java

9. 从官网下载Hadoop “hadoop-2.7.0.tar.gz”放到/home/hadoop目录下

10. 输入命令解压

  • tar -xzvf hadoop-2.7.0.tar.gz

11. 在/home/hadoop目录下创建数据存放的文件夹，tmp、hdfs、hdfs/data、hdfs/name

12. 修改Hadoop设置

  • ／Hadoop2.7.3／etc／Hadoop／hadoop-env.sh

export
JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.131-3.b12.e17_3.x86_64

  • ／Hadoop2.7.3／etc／Hadoop／slaves
  • ／Hadoop2.7.3／etc／Hadoop／mapred-site.xml
  • ／Hadoop2.7.3／etc／Hadoop／hdfs-site.xml
  • ／Hadoop2.7.3／etc／Hadoop／core-site.xml

13. 在Master服务器启动hadoop

  • 初始化

bin/hdfs namenode –format

l  全部启动sbin/start-all.sh，也可以分开sbin/start-dfs.sh、sbin/start-yarn.sh

l  停止Hadoop服务

l  sbin/stop-all.sh

l  输入命令jps，可以看到节点相关信息

14. 访问Hadoop

添加新数据节点步骤

  • 安装CentOS，设置静态IP（4个配置文件）
  • 加入SSH免密码登录
  • SCP把Hadoop文件复制到新机器
  • 修改／Hadoop2.7.3／etc／Hadoop／slaves
  • 重新初始化
  • 重新启动hadoop服务

运行WordCount程序

1、在HDFS中创建目录input

hadoop fs -mkdir
/input

2、将本地的 PESXXX.txt上传到input中

hadoop fs -put PESXXX.txt /input

查看input目录下的文件

hadoop fs -ls
/input

查看PESXXX.txt文件内容

hadoop fs -cat
/input/ PESXXX.txt

3、运行程序

hadoop jar
share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount /input
/output/

CentOS上安装Hadoop2.7，添加数据节点，运行wordcount

4、查看结果

查看输出目录hadoop
fs -ls /output

查看输出结果hadoop
fs -cat /output/part-r-0000

5、可在浏览器查看任务

http://192.168.1.15:8088

http://192.168.1.15:50070

相关文章