Hadoop环境安装和集群创建

时间：2022-07-15 19:26:43

虚拟机使用vmware，vmware可以直接百度下载安装 秘钥也能百度到 安装很简单

CentOS 7下载：

进入官网 https://www.centos.org/download/

这里有三种 第一个是标准版 第二个是全部版 第三个是最小版 每个版本的大小都不一样，这里选择标准版下载。点第一个标准版进入镜像 http://isoredirect.centos.org/centos/7/isos/x86_64/CentOS-7-x86_64-DVD-1708.iso 这里面有不同的镜像，找一个自己下载快的链接下载就好了。

Hadoop环境安装和集群创建

CentOS 7.3 安装指南

https://www.cnblogs.com/wcwen1990/p/7630545.html https://linux.cn/article-8048-2.html

关闭防火墙，CentOS7 禁用防火墙跟6不一样

firewall-cmd –reload #重启firewall

systemctl stop firewalld.service #停止firewall

systemctl disable firewalld.service #禁止firewall开机启动

firewall-cmd –state #查看默认防火墙状态（关闭后显示notrunning，开启后显示running）

使用Xshell 连接linux主机。在自己Windows电脑找到:c\windows\system32\drivers\etc\host 配置主机的ip 比如：host中加入下面两句

192.168.1.76  master

192.168.1.106  slave

Xshell 上传下载命令 rz，sz

CentOS 7系统下配置自定义JDK的教程

http://www.jb51.net/article/116666.htm

export JAVA_HOME=/home/chs/java/jdk1.8.0_171

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$PATH:$JAVA_HOME/bin

安装jdk后出如果现bash: ./java: /lib/ld-linux.so.2: bad ELF interpreter: 没有那个文件或目录，原因应该是安装了32位的jdk , 解决办法。最好还是重新安装64位的

第一种 sudo yum install glibc.i686

第二种 安装64位的jdk

hadoop环境变量

vim /etc/profile

export HADOOP_HOME=/home/chs/hadoop/hadoop-2.7.3

export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

source /etc/profile

配置hadoop参数

第一步 进入

vim hadoop-env.sh

找到

export JAVA_HOME=${JAVA_HOME}

修改为

export JAVA_HOME=/home/chs/java/jdk1.8.0_171

第二步 修改core-site.xml

vim core-site.xml

<configuration>

<property>

<name>fs.defaultFS</name>

<value>hdfs://master:9000</value>// master是你的主机名字

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/home/chs/hadoopdata</value>//存放临时数据

</property>

</configuration>

第三步配置hdfs-site.xml

vim hdfs-site.xml

<configuration>

<property>

<name>dfs.replication</name>  //赋值备份

<value>1</value>//hadoop集群默认有3份数据  1是伪分布式

</property>

</configuration>

第四步 配置yarn-site.xml

vim yarn-site.xml

<configuration>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<property>

<name>yarn.resourcemanager.address</name>

<value>master:18040</value>

</property>

<property>

<name>yarn.resourcemanager.scheduler.address</name>

<value>master:18030</value>

</property>

<property>

<name>yarn.resourcemanager.resource-tracker.address</name>

<value>master:18025</value>

</property>

<property>

<name>yarn.resourcemanager.admin.address</name>

<value>master:18141</value>

</property>

<property>

<name>yarn.resourcemanager.webapp.address</name>

<value>master:18088</value>

</property>

</configuration>

第五步 配置mapred-site.xml

如果没有这个文件应该有mapred-site.xml.template 复制一份 或 者重命名也行

cp mapred-site.xml.template mapred-site.xml

vim mapred-site.xml

<configuration>

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>//把yarn平台做MapReduce的框架

</property>

</configuration>

配置ip

vim /etc/hosts

192.168.1.120  slave

192.168.1.119  master

设置ssh免密码登录

ssh-keygen -t rsa

cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

将master中的秘钥复制到slave中

scp ~/.ssh/authorized_keys slave:~/.ssh

将slave中的秘钥复制到master中

scp id_rsa.pub master:~/.ssh/authorized_keys

如果是伪分布式可以直接格式化重启了，如果不是伪分布式，那就配置slaves附属节点

配置从节点文件 slaves

vim slaves

localhost 改为 slave

复制到从节点中

scp slaves slave:/home/chs/hadoop-2.7.3/etc/hadoop

格式化HDFS 创建namenode的文件结构

hadoop namenode -format   或者 hsfs namenode -format

启动Hadoop

先启动HDFS： start-hdfs.sh

在启动yarn : start-yarn.sh

或者一步到位 start-all.sh

查看是否启动成功 jps

启动之后会看到几个进程：

HDFS的进程：NameNode , DataNode , SecondryNameNode

Yarn的进程 ：NodeManager , SourceManager

其中master 中的进程是 ： NameNode ，SecondryNameNode ，SourceManager

slave中的进程是：DataNode ，NodeManager

浏览器中： 输入 http://master:50070/ 和 http://master:18088 来检查。

想学习大数据的朋友可以加微信：wxid_j9y4t84ezzcr22 领取一份2018最新的大数据学习资料和进阶开发，欢迎想学习大数据的小伙伴加入。还有我们的微信交流群，群里都是学大数据开发的，如果你正在学习大数据 ，小编欢迎你加入,大家都是软件开发党，不定期分享干货（大数据软件开发相关的）。

相关文章