第一部分 准备工作:系统环境搭建
三台centos7.2的服务器,63为主节点如下:
172.20.122.67 bigdata001
172.20.122.63 bigdata002
172.20.122.68 bigdata003
以下操作均用root用户操作
配置host(所有节点)
/etc/hosts
172.20.122.67 bigdata001
172.20.122.63 bigdata002
172.20.122.68 bigdata003
172.20.122.63 archive.cloudera.com
一、查看 SELinux状态及关闭SELinux(需要在所有的节点上执行)
查看SELinux状态:
1、/usr/sbin/sestatus -v ##如果SELinux status参数为enabled即为开启状态
SELinux status: enabled
2、getenforce ##也可以用这个命令检查
关闭SELinux:
1、临时关闭(不用重启机器):
setenforce 0 ##设置SELinux 成为permissive模式
##setenforce 1 设置SELinux 成为enforcing模式
2、修改配置文件需要重启机器:
修改/etc/selinux/config 文件
将SELINUX=enforcing改为SELINUX=disabled
重启机器即可!
关闭防火墙:
service iptables stop (临时关闭)
chkconfig iptables off (重启后生效)
二、安装配置MySql(主节点,安装时如果使用默认嵌入式 PostgreSQL 数据库,无需该步骤)
通过yum install mysql-server安装mysql服务器,
chkconfig mysqld on设置开机启动,
并service mysqld start启动mysql服务,
设置root的初试密码:
mysqladmin -u root password 'mysql'。
mysql -uroot -p进入mysql命令行,创建以下数据库:
如需要使用mysql做hive等组件的元数据库,则需安装mysql server并创建相关数据库:
CREATE DATABASE scm DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;
CREATE DATABASE hive DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;
CREATE DATABASE mon DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;
CREATE DATABASE Oozie DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;
设置root授权访问以上所有的数据库:
#授权root用户在主节点拥有所有数据库的访问权限
grant all privileges on *.* to 'root'@'bigdata002 ' identified by 'mysql' with grant option;
flush privileges;
三、打通SSH,设置ssh无密码登陆(所有节点)
1、在主节点上执行ssh-****** -t rsa一路回车,生成无密码的**对。
2、将公钥添加到认证文件中:cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
3、并设置authorized_keys的访问权限:chmod 600 ~/.ssh/authorized_keys
4、scp文件到所有datenode节点:
例如:scp ~/.ssh/authorized_keys [email protected] :~/.ssh/
5、测试:在主节点上ssh bigdata001 ,正常情况下,不需要密码就能直接登陆进去了。
五、配置NTP服务(所有节点)
修改时间
date -s '09:16:00 2017-09-25'
ntp服务端和客户端安装参考文档:
http://blog.****.net/freedomboy319/article/details/46710255
六、安装Apache http
yum install http
[[email protected] conf.d]# service httpd start
[[email protected] conf.d]# chkconfig httpd on //启动服务
[[email protected] conf]# ps -ef|grep httpd
apache 15169 16629 0 Sep24 ? 00:00:00 /usr/sbin/httpd
apache 15170 16629 0 Sep24 ? 00:00:00 /usr/sbin/httpd
httpd服务缺省的根目录是 /var/www/html
将第七步中下载的在主节点上面的cm和cdh放在该目录下
七、配置yum源
/etc/yum.repos.d下新增cloudera-manager.repo:
[cloudera-manager]
name=Cloudera Manager
baseurl=http://172.20.122.63/cm5/redhat/7/x86_64/cm/5.16.2
gpgcheck=0
第二部分 软件下载
一、下载CM5相关文件:
http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.14.1/
(1)进入目录:/cm5/redhat/7/x86_64/cm/5.14.1/RPMS/x86_64下载所有文件;
(2)进入目录:/cm5/redhat/7/x86_64/cm/5.16.2/repodata/下载所有文件;
注意:下载文件的目录和上面链接保持一致,红色的部分一定不能下载到文件夹中。
二、CDH parcel下载
http://archive.cloudera.com/cdh5/parcels/5.16.2/
下载centos 对应的 parcel ,el7表示centos 7 版本!
三、下载cloudera-manager安装文件
http://archive.cloudera.com/cm5/installer/5.16.2/cloudera-manager-installer.bin
第三部分 安装
- 执行命令:./cloudera-manager-installer.bin
- 查看状态:service cloudera-scm-server status
- 等待几分钟左右(服务启动较慢),查看端口:lsof -i:7180
- 登录CM界面安装
- 参考文档:https://blog.****.net/jin__nan/article/details/81040461 或者参考下面图
添加CDH的parcel
图中版本号填写自己安装的对应版本号即可,将5.4.7改成5.16.2。
填写CM的安装路径(注意:http不是https)
点击安装即可!
=========================== CM服务命令 ==========================
ps -ef|grep 'cloudera-scm*'
service cloudera-scm-server-db start
service cloudera-scm-agent start
service cloudera-scm-server start
service cloudera-scm-server stop
service cloudera-scm-agent stop
service cloudera-scm-server-db stop
service cloudera-scm-server-db status
service cloudera-scm-agent status
service cloudera-scm-server status
=========================== CM服务命令 ==========================
第四部分 问题解答
1、
javax.persistence.PersistenceException: org.hibernate.exception.GenericJDBCException: Could not open connection
A server error has occurred. The full stack trace is not shown here due to security reasons. See Cloudera Manager Server log for details.
解答:不用管,直接点击ok。
2、其他文件请参考或留言