centos7安装hdp2.65步骤

时间:2024-03-14 17:31:25

首先准备好必要的安装包

下载hdp安装包
网络不太好,很容易出问题,还是离线安装好一些。
ambari-2.6.2.0-centos7.tar.gz
HDP-2.6.5.0-centos7-rpm.tar.gz
HDP-UTILS-1.1.0.22-centos7.tar.gz
HDP-GPL-2.6.5.0-centos7-gpl.tar.gz

下载libtirpc-devel-0.2.4-0.6.el7.x86_64.rpm,libtirpc-devel-0.2.4-0.8.el7.i686.rpm(后面安装hdoop需要)

 

1.修改每台机器的hosts文件
vim /etc/hosts
192.168.1.101 cent1
192.168.1.102 cent2
192.168.1.103 cent3
192.168.1.103 cent4

2.配置ssh免**
cd /root/.ssh
#生成秘钥命令,然后猛按4个回车
ssh-******
ssh-copy-id [email protected]
ssh-copy-id [email protected]
ssh-copy-id [email protected]
ssh-copy-id [email protected]

3.每台机器禁用防火墙:
systemctl stop firewalld
systemctl disable firewalld

4.每台机器修改ulimit
vi /etc/security/limits.conf 
* soft noproc 127093
* hard noproc 127093
* soft nofile 127093
* hard nofile 127093

5.安装jdk

把jdk-8u172-linux-x64.tar.gz放到 /opt目录 解压
 
设置环境变量 
vim /etc/profile
JAVA_HOME=/opt/jdk1.8.0_172
PATH=$PATH:$JAVA_HOME/bin
export JAVA_HOME

6.配置 HTTP 服务

把所有tar包放到 /opt/cent并解压
然后
cd /opt/cent
nohup python -m SimpleHTTPServer &


7.配置yum源
把centos的iso文件放至/opt/yupsoftware  
mkdir -p /opt/centosyum
mount -o loop /opt/CentOS-7-x86_64-DVD-2003.iso /opt/centosyum

.yum删除网络源
 cd /etc/yum.repos.d/然后在输入rm -rf  * 
 在/etc/yum.repos.d/目录下创建一个以.repo的文件

cat << EOF >/etc/yum.repos.d/ambari.repo
[centoslocal]
name=centoslocal
baseurl=http://cent1:8000/centosyum
[AMBARI]
name=AMBARI
baseurl=http://cent1:8000/ambari/centos7/2.6.2.0-155
gpgcheck=0
[HDP]
name=HDP
baseurl=http://cent1:8000/HDP/centos7/2.6.5.0-292
gpgcheck=0
[HDP-UTILS]
name=HDP-UTILS
baseurl=http://cent1:8000/HDP-UTILS/centos7/1.1.0.22
gpgcheck=0
[HDP-GPL]
name=HDP-GPL
baseurl=http://cent1:8000/HDP-GPL/centos7/2.6.5.0-292
gpgcheck=0
EOF

执行scp将该文件发送至其它服务器
scp /etc/yum.repos.d/ambari.repo [email protected]:/etc/yum.repos.d/
scp /etc/yum.repos.d/ambari.repo [email protected]:/etc/yum.repos.d/
scp /etc/yum.repos.d/ambari.repo [email protected]:/etc/yum.repos.d/

然后每个服务器执行
yum clean all
yum makecache
yum repolist
yum update

8.时间同步
yum install -y ntp
systemctl enable ntpd

9.安装与配置 ambari-server
yum install ambari-server
ambari-server setup 中间除 jdk 单独指定外,都默认

10.启动并安装服务

1. 开始创建集群

ambari-server start

然后打开http://xx.xx.xx.xx:8080,账户密码默认为admin

centos7安装hdp2.65步骤

 

2.配置 HDP 源

选择2.6 下面两个的地址填写ambari.repo的内容

centos7安装hdp2.65步骤

 

3.部署的机器列表与登录私钥配置

上面Hosts填写域名,需要跟/etc/hosts对应,不可以直接使用IP

下面  私钥为.ssh/id_rsa 的内容

centos7安装hdp2.65步骤

4. 部署 Ambari-Agent

部署Ambari-Agent时如遇到错误,参照解决方法3
centos7安装hdp2.65步骤

5. 选择安装部署服务
centos7安装hdp2.65步骤

6. 服务分配
centos7安装hdp2.65步骤

7. HDFS 配置
centos7安装hdp2.65步骤

centos7安装hdp2.65步骤

centos7安装hdp2.65步骤

centos7安装hdp2.65步骤

8. YARN 配置
centos7安装hdp2.65步骤

centos7安装hdp2.65步骤

centos7安装hdp2.65步骤

centos7安装hdp2.65步骤

9. MapReduce 配置
centos7安装hdp2.65步骤

10. ZooKeeper 配置
centos7安装hdp2.65步骤

 

11. Ambari Metrics 配置

centos7安装hdp2.65步骤

12. KAFKA 配置
centos7安装hdp2.65步骤

 

centos7安装hdp2.65步骤

centos7安装hdp2.65步骤

centos7安装hdp2.65步骤

13. HDP 部署完成

   安装HDP过程中如果出现

    Error: Package: hadoop_2_6_5_0_292-hdfs-2.7.3.2.6.5.0-292.x86_64 (HDP)
    Requires: libtirpc-devel

则可以参考解决方法4


centos7安装hdp2.65步骤

centos7安装hdp2.65步骤

 

centos7安装hdp2.65步骤

centos7安装hdp2.65步骤

解决方法
1.您尚未安装任何 GPG 公钥:出现rpm --import public.gpg.key,解决办法2019-07-23 21:33:39
解决办法:
rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-7

2.rpm安装rpm-package报错:Header signature NOKEY 和 error: Failed dependencies:
rpm -ivh *.rpm --nodeps --force

3.ambari ui  - SSLError: Failed to connect. Please check openssl library versions 错误
修改/etc/python/cert-verification.cfg配置文件: 

(1)# vim /etc/python/cert-verification.cfg

[https]

verify=disable

(2)# vim /etc/ambari-agent/conf/ambari-agent.ini

    [security]
    ssl_verify_cert=0
    force_https_protocol=PROTOCOL_TLSv1_2
保存退出,重启 ambari-agent

4. Error: Package: hadoop_2_6_5_0_292-hdfs-2.7.3.2.6.5.0-292.x86_64 (HDP)
    Requires: libtirpc-devel
           
   网上下载libtirpc-devel-0.2.4-0.6.el7.x86_64.rpm,libtirpc-devel-0.2.4-0.8.el7.i686.rpm
   用rpm -ivh *.rpm --nodeps --force 强制安装