文件名称:hadoop高可用搭建
文件大小:11KB
文件格式:TXT
更新时间:2021-12-03 10:37:22
hadoop
hadoop集群搭建高可用文档在Hadoop2.x之后的版本,提出了解决单点问题的方案--HA(High Available 高可用)。这篇博客阐述如何搭建高可用的HDFS和YARN,执行步骤如下: 创建hadoop用户 安装JDK 配置hosts 安装SSH 关闭防火墙 修改时区 ZK(安装,启动,验证) HDFS+HA的结构图 角色分配 环境变量配置 核心文件配置 slave 启动命令(hdfs和yarn的相关命令) HA的切换 效果截图 下面我们给出下载包的链接地址: zookeeper下载地址 hadoop2.x下载地址 JDK下载地址 注:若JDK无法下载,请到Oracle的官网下载JDK。 到这里安装包都准备好了,接下来我们开始搭建与配置。 2.搭建 2.1创建Hadoop用户 useradd hadoop passwd hadoop 然后根据提示,设置密码。接着我给hadoop用户设置面免密码权限,也可自行添加其他权限。 chmod +w /etc/sudoers hadoop ALL=(root)NOPASSWD:ALL chmod -w /etc/sudoers 2.2安装JDK 将下载好的安装包解压到 /usr/java/jdk1.7,然后设置环境变量,命令如下: sudo vi /etc/profile 然后编辑配置,内容如下: export JAVA_HOME=/usr/java/jdk1.7 export PATH=$PATH:$JAVA_HOME/bin 然后使环境变量立即生效,命令如下: source /etc/profile 然后验证JDK是否配置成功,命令如下: java -version 若显示对应版本号,即表示JDK配置成功。否则,配置无效!