离线环境下安装Cloudera Manager和CDH 5.16.2版本

时间:2024-05-20 07:50:12

第一部分  准备工作:系统环境搭建

三台centos7.2的服务器,63为主节点如下:

172.20.122.67 bigdata001
172.20.122.63 bigdata002
172.20.122.68 bigdata003

以下操作均用root用户操作

配置host(所有节点)

/etc/hosts

172.20.122.67 bigdata001
172.20.122.63 bigdata002
172.20.122.68 bigdata003

172.20.122.63 archive.cloudera.com

一、查看 SELinux状态及关闭SELinux(需要在所有的节点上执行

查看SELinux状态:

1、/usr/sbin/sestatus -v      ##如果SELinux status参数为enabled即为开启状态

SELinux status:                 enabled

2、getenforce  ##也可以用这个命令检查

关闭SELinux:

1、临时关闭(不用重启机器):

setenforce 0                  ##设置SELinux 成为permissive模式

                                     ##setenforce 1 设置SELinux 成为enforcing模式

2、修改配置文件需要重启机器:

修改/etc/selinux/config 文件

将SELINUX=enforcing改为SELINUX=disabled

重启机器即可! 

关闭防火墙:

service iptables stop (临时关闭) 

chkconfig iptables off (重启后生效)

 

二、安装配置MySql(主节点,安装时如果使用默认嵌入式 PostgreSQL 数据库,无需该步骤

通过yum install mysql-server安装mysql服务器,

chkconfig mysqld on设置开机启动,

并service mysqld start启动mysql服务,

设置root的初试密码:

mysqladmin -u root password 'mysql'。

mysql -uroot -p进入mysql命令行,创建以下数据库:

如需要使用mysql做hive等组件的元数据库,则需安装mysql server并创建相关数据库:

CREATE DATABASE scm DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;

CREATE DATABASE hive DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;

CREATE DATABASE mon DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;

CREATE DATABASE Oozie DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;

 

设置root授权访问以上所有的数据库:

#授权root用户在主节点拥有所有数据库的访问权限

grant all privileges on *.* to 'root'@'bigdata002 ' identified by 'mysql' with grant option;

flush privileges;

 

三、打通SSH,设置ssh无密码登陆(所有节点)

1、在主节点上执行ssh-****** -t rsa一路回车,生成无密码的**对。

2、将公钥添加到认证文件中:cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

3、并设置authorized_keys的访问权限:chmod 600 ~/.ssh/authorized_keys

4、scp文件到所有datenode节点:

例如:scp ~/.ssh/authorized_keys [email protected] :~/.ssh/

5、测试:在主节点上ssh bigdata001 ,正常情况下,不需要密码就能直接登陆进去了。

 

五、配置NTP服务(所有节点)

修改时间

date -s '09:16:00 2017-09-25'

ntp服务端和客户端安装参考文档:

http://blog.****.net/freedomboy319/article/details/46710255

 

六、安装Apache http

yum install http

[[email protected] conf.d]# service httpd start

[[email protected] conf.d]# chkconfig httpd on        //启动服务

 

[[email protected] conf]# ps -ef|grep httpd

apache   15169 16629  0 Sep24 ?        00:00:00 /usr/sbin/httpd

apache   15170 16629  0 Sep24 ?        00:00:00 /usr/sbin/httpd

 httpd服务缺省的根目录是 /var/www/html

将第七步中下载的在主节点上面的cm和cdh放在该目录下

 

离线环境下安装Cloudera Manager和CDH 5.16.2版本

七、配置yum源

/etc/yum.repos.d下新增cloudera-manager.repo:

[cloudera-manager]

name=Cloudera Manager

baseurl=http://172.20.122.63/cm5/redhat/7/x86_64/cm/5.16.2

gpgcheck=0

 

第二部分  软件下载

一、下载CM5相关文件:

http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.14.1/

(1)进入目录:/cm5/redhat/7/x86_64/cm/5.14.1/RPMS/x86_64下载所有文件;

(2)进入目录:/cm5/redhat/7/x86_64/cm/5.16.2/repodata/下载所有文件;

注意:下载文件的目录和上面链接保持一致,红色的部分一定不能下载到文件夹中。

 

二、CDH parcel下载

http://archive.cloudera.com/cdh5/parcels/5.16.2/

下载centos 对应的 parcel ,el7表示centos 7 版本

离线环境下安装Cloudera Manager和CDH 5.16.2版本

 

 

三、下载cloudera-manager安装文件

http://archive.cloudera.com/cm5/installer/5.16.2/cloudera-manager-installer.bin

 

第三部分  安装

  1. 执行命令:./cloudera-manager-installer.bin
  2. 查看状态:service cloudera-scm-server status
  3. 等待几分钟左右(服务启动较慢),查看端口:lsof -i:7180
  4. 登录CM界面安装
  5. 参考文档:https://blog.****.net/jin__nan/article/details/81040461  或者参考下面图

添加CDH的parcel

 

离线环境下安装Cloudera Manager和CDH 5.16.2版本

图中版本号填写自己安装的对应版本号即可,将5.4.7改成5.16.2。

填写CM的安装路径(注意:http不是https)

离线环境下安装Cloudera Manager和CDH 5.16.2版本

 

点击安装即可!

=========================== CM服务命令 ==========================

ps -ef|grep 'cloudera-scm*'

service cloudera-scm-server-db start

service cloudera-scm-agent start

service cloudera-scm-server start

 

service cloudera-scm-server stop

service cloudera-scm-agent stop

service cloudera-scm-server-db stop

 

service cloudera-scm-server-db status

service cloudera-scm-agent status

service cloudera-scm-server status

=========================== CM服务命令 ==========================

 

第四部分  问题解答

 

1、

javax.persistence.PersistenceException: org.hibernate.exception.GenericJDBCException: Could not open connection

A server error has occurred. The full stack trace is not shown here due to security reasons. See Cloudera Manager Server log for details.

解答:不用管,直接点击ok。

 

2、其他文件请参考或留言

https://blog.****.net/jin__nan/article/details/81040461