CM记录-部署cdh5.3.3集群

时间：2024-03-23 23:36:56
1.安装操作系统，保证联网环境，本文以CentOS 6.8为操作系统（略）

2.wget下载安装包(以5.3.3为例)

#mkdir /usr/cdh   ---新建cm安装目录

#cd /usr/cdh       ---切换目录

#wget 获取下载链接文件到本地服务器

#wget http://archive.cloudera.com/cm5/cm/5/cloudera-manager-el6-cm5.3.3_x86_64.tar.gz

#wget http://archive.cloudera.com/cdh5/parcels/5.3.3/CDH-5.3.3-1.cdh5.3.3.p0.5-el6.parcel

#wget http://archive.cloudera.com/cdh5/parcels/5.3.3/CDH-5.3.3-1.cdh5.3.3.p0.5-el6.parcel.sha1

#wget http://archive.cloudera.com/cdh5/parcels/5.3.3/manifest.json

#mv CDH-5.3.3-1.cdh5.3.3.p0.5-el6.parcel.sha1  CDH-5.3.3-1.cdh5.3.3.p0.5-el6.parcel.sha  ---重命名.sha1

#mkdir /opt/cloudera/parcel-repo   ---新建集群包安装目录

#mv CDH-5.3.3-1.cdh5.3.3.p0.5-el6.parcel       /opt/cloudera/parcel-repo  --移动文件到集群包安装目录下

#mv CDH-5.3.3-1.cdh5.3.3.p0.5-el6.parcel.sha      /opt/cloudera/parcel-repo   ---同上

#mv manifest.json     /opt/cloudera/parcel-repo     ---同上

#tar zxvf cloudera-manager-el6-cm5.3.3_x86_64.tar.gz  ---解压

3.主节点与从节点修改配置（以三个节点为例子）

3.1 vim /etc/sysconfig/network（配置主机名）

NETWORKING=yes HOSTNAME=master(备注：从节点改为对应的名字，如slave1)

3.2 vim /etc/hosts （配置主机名与IP地址映射）

192.168.1.126  master

192.168.1.127  slave1

192.168.1.128  slave2

3.3 安装JDK1.7(本文推荐二进制包安装，不推荐命令安装，操作略)

3.4 关闭防火墙和SELinux

#service iptables stop  ---停止防火墙服务

#chkconfig iptables off  ---永久停止防火墙服务

#vim /etc/selinux/config   ---修改SELinux配置

   SELINUX=disabled

#保存退出

#setenforce 0    ---立即生效

3.5 配置时间同步

#yum -y install ntp   ---安装ntp

#ntpdate -u  ntp1.aliyun.com  ---配置阿里云时钟

#vim /etc/ntp.conf

server ntp1.aliyun.com prefer

#保存退出

#service ntpd start   ---开启ntpd服务

#chkconfig ntpd on  ---ntpd自启动

3.6 主节点添加scm用户

useradd --system --home=/usr/cdh/cm-5.3.3/run/cloudera-scm-server/

--no-create-home --shell=/bin/false --comment "Cloudera SCM User"

cloudera-scm

3.7 配置ssh无密登录

在 master机器生成公钥文件

#ssh-keygen -t rsa

#cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

#chmod 600 ~/.ssh/authorized_keys

#拷贝到其他主机上

#scp ~/.ssh/authorized_keys root@slave1:~/.ssh/

#scp ~/.ssh/authorized_keys root@slave2:~/.ssh/

#ssh slave1

#ssh slave2

4.主节点安装mysql

#yum -y install mysql*    ---安装所有mysql组件

#service mysqld start   ---开启mysqld服务

#chkconfig mysqld on    ---mysqld自启动

#mysql（无密登录）

#create database hive DEFAULT CHARSET utf8 COLLATE  utf8_general_ci; （创建数据库hive）

#grant all privileges on *.* to 'root'@'master' identified by 'mysql005' with grant option; (授予权限)

#grant all privileges on *.* to 'root'@'%' identified by 'mysql005' with grant option; （同上）

#grant all privileges on *.* to 'root'@localhost identified by 'mysql005' with grant option; （同上）

#flush privileges

#exit

5.安装cm5

5.1 拷贝mysql连接库到cm对应的目录下

#cp  mysql-connector-java-5.1.30.jar  /usr/cdh/cm-5.3.3/share/cmf/lib/

5.2 拷贝cm-5.3.3目录所有文件到各个节点

#scp -r /usr/cdh/cm-5.3.3 root@slave1:/usr/cdh/

#scp -r /usr/cdh/cm-5.3.3 root@slave2:/usr/cdh/

5.3 各个节点修改主机名（可忽略）

vim /usr/cdh/cm-5.3.3/etc/cloudera-scm-agent/config.ini

server_host=master

5.4 初始化cm数据库

#/usr/cdh/cm-5.3.3/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -pmysql005 --scm-host localhost scm scm scm

5.5 在master(namenode)主节点启动

#/usr/cdh/cm-5.3.3/etc/init.d/cloudera-scm-server start

#/usr/cdh/cm-5.3.3/etc/init.d/cloudera-scm-agent start

5.6 在slave（datanode）所有从节点启动

#/usr/cdh/cm-5.3.3/etc/init.d/cloudera-scm-agent start

5.7 登录cm系统进行集群安装

#http://192.168.1.126:7180/cmf/login       ---用户和密码都是 admin

#echo 0 > /proc/sys/vm/swappiness （交换值默认为60）

#如果系统安装有tomcat，请修改8005端口（sqoop限制）

#第一步选择免费版本，选择所有节点安装

#第二步等待下载、分配、激活，选择parcel进行安装

#第三步拷贝mysql连接库到hive/lib下

#cp /usr/cdh/cm-5.3.3/share/cmf/lib/mysql-connector-java-5.1.30.jar

/opt/cloudera/parcels/CDH-5.3.3-1.cdh5.3.3.p0.5/lib/hive/lib/

#第四步默认设置，主机检查，然后下一步开启所有服务20分钟后即可安装完成。

#注销，重新登录即可。

相关文章