hadoop高可用搭建

时间:2021-12-03 10:37:22
【文件属性】:

文件名称:hadoop高可用搭建

文件大小:11KB

文件格式:TXT

更新时间:2021-12-03 10:37:22

hadoop

hadoop集群搭建高可用文档在Hadoop2.x之后的版本,提出了解决单点问题的方案--HA(High Available 高可用)。这篇博客阐述如何搭建高可用的HDFS和YARN,执行步骤如下: 创建hadoop用户 安装JDK 配置hosts 安装SSH 关闭防火墙 修改时区 ZK(安装,启动,验证) HDFS+HA的结构图 角色分配 环境变量配置 核心文件配置 slave 启动命令(hdfs和yarn的相关命令) HA的切换 效果截图   下面我们给出下载包的链接地址:   zookeeper下载地址   hadoop2.x下载地址 JDK下载地址   注:若JDK无法下载,请到Oracle的官网下载JDK。   到这里安装包都准备好了,接下来我们开始搭建与配置。 2.搭建 2.1创建Hadoop用户 useradd hadoop passwd hadoop   然后根据提示,设置密码。接着我给hadoop用户设置面免密码权限,也可自行添加其他权限。 chmod +w /etc/sudoers hadoop ALL=(root)NOPASSWD:ALL chmod -w /etc/sudoers 2.2安装JDK   将下载好的安装包解压到 /usr/java/jdk1.7,然后设置环境变量,命令如下: sudo vi /etc/profile   然后编辑配置,内容如下: export JAVA_HOME=/usr/java/jdk1.7 export PATH=$PATH:$JAVA_HOME/bin   然后使环境变量立即生效,命令如下: source /etc/profile   然后验证JDK是否配置成功,命令如下: java -version   若显示对应版本号,即表示JDK配置成功。否则,配置无效!


网友评论