离线安装 Cloudera Manager 5 和 CDH5.10

关于CDH和Cloudera Manager

CDH (Cloudera's Distribution, including Apache Hadoop)，是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，并集成了很多补丁，可直接用于生产环境。

Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的组件，对集群中主机、Hadoop、Hive、Spark等服务的安装配置管理做了极大简化。

环境说明

操作系统：Centos6.7 * 4：

bd-dev-cm1-240  172.31.217.240（主节点）

bd-dev-cm2-241  172.31.217.241

bd-dev-cm3-242  172.31.217.242

bd-dev-cm4-243  172.31.217.243

Cloudera Manager：5.10
CDH：5.10

安装说明

官方参考文档：

https://www.cloudera.com/documentation/enterprise/5-10-x/topics/cm_ig_install_path_c.html#concept_fbv_2v3_3r__section_z1d_5pm_s5

官方共给出了3中安装方式，建议使用第三种安装方式。第三种方法对系统侵入性最小，最大优点可实现全离线安装，而且重装什么的都非常方便。后期的集群统一包升级也非常好。这也是我之所以选择离线安装的原因。

准备工作

以下操作均需要(root)管理员权限。防火墙和SELinux均已全部关闭。

1、配置hosts（所有节点）

设置hostname，以bd-dev-cm1-240为例:

# hostname bd-dev-cm1-240

并使其永久生效:

# vim /etc/sysconfig/network

修改HOSTNAME=bd-dev-cm1-240

修改hosts表:

在每个节点上都应有一份hosts表，在之后的配置中，对应节点名称使用hostname

# vim /etc/hosts

172.31.217.240  bd-dev-cm1-240

172.31.217.241  bd-dev-cm2-241

172.31.217.242  bd-dev-cm3-242

172.31.217.243  bd-dev-cm4-243

2、设置ssh无密码登陆（所有节点）

在主节点上执行ssh-keygen -t rsa一路回车，生成密钥对。

将公钥添加到认证文件中：

# cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys，

并设置authorized_keys的访问权限：

# chmod 600 ~/.ssh/authorized_keys

scp文件到其他所有节点：

scp ~/.ssh/authorized_keys root@bd-dev-cm2-241:~/.ssh/

测试：在主节点上ssh bd-dev-cm2-241，正常情况下，不需要密码就能直接连进去了。

3、安装Oracle的Java（所有节点）

这里使用的jdk版本为1.8.0_111，我这里由于已经制作成rpm包放到了私有仓库中，直接yum安装：

# yum install es-jdk8 -y（包名是自定义的）

如果有需要建议可以去Oracle的官网下载jdk的rpm安装包，这里就不赘述了。

这里安装路径为:/opt/programs/jdk1.8.0_111，这里需要配置一个全局的JAVA_HOME变量，执行命令：

# echo "JAVA_HOME=/opt/programs/jdk1.8.0_111" >> /etc/environment

并创建软链接到:/usr/java/default

# ln -s /opt/programs/jdk1.8.0_111 /usr/java/default

验证：正常情况下通过java -version可以看到jdk的版本信息。

4、安装配置MySql（主节点）

通过yum install mysql-server安装mysql服务器。chkconfig mysqld on设置开机启动，并service mysqld start启动mysql服务，并根据提示设置root的初试密码：mysqladmin -u root password 'xxxx'。

mysql -uroot -pxxxx进入mysql命令行，创建以下数据库：

#hive

create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

#activity monitor

create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

#activity oozie 如果需要的话

create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

#activity hue 如果需要的话

create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

设置root授权访问以上所有的数据库：

grant all privileges on *.* to 'root'@'bd-dev-cm1-240' identified by 'xxxx' with grant option;

flush privileges;

5、配置NTP服务（所有节点）

集群中所有主机必须保持时间同步，如果时间相差较大会引起各种问题。这里选用172.31.217.173 作为时间服务器。

参考配置如下：

# cat /etc/ntp.conf

trict default kod nomodify notrap nopeer noquery　　　　　　　　　　　　　　

restrict -6 default kod nomodify notrap nopeer noquery

restrict 127.0.0.1　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　

restrict -6 ::1　

restrict 172.31.217.0 mask 255.255.255.0 nomodify notrap　

server 172.31.217.173　　　　　　　　　　　　

server 0.centos.pool.ntp.org

server 1.centos.pool.ntp.org　　　　　　　　　　　　　　　　

server 2.centos.pool.ntp.org 　　　　　　　　　　　　　　　　　　　　　　　　　　

server  172.31.217.173     # local clock 　　　　　　　　　　　

fudge   172.31.217.173 stratum 10

在所有节点启动ntp服务：

# /etc/init.d/ntpd start

安装Cloudera Manager

1、主节点解压安装

cloudera manager的目录默认位置在/opt下，解压：tar xzvf cloudera-manager*.tar.gz将解压后的cm-5.10.0 和cloudera目录放到/opt目录下。

2、为Cloudera Manager 5建立数据库

首先需要去MySql的官网下载JDBC驱动，http://dev.mysql.com/downloads/connector/j/，解压后，找到mysql-connector-java-5.1.xx-bin.jar，放到/opt/cm-5.10.0/share/cmf/lib/中。

在主节点初始化CM5的数据库：

# /opt/cm-5.10.0/share/cmf/schema/scm_prepare_database.sh mysql cm -h172.31.217.240 -uroot -pxxx --scm-host 172.31.217.240 scm scm scm

3、Agent配置

修改/opt/cm-5.10.0/etc/cloudera-scm-agent/config.ini中的server_host为主节点的主机名，这里即为bd-dev-cm1-240。

4、同步Agent到其他节点

# scp -r /opt/cm-5.10.0 root@ip:/opt/

5、在所有节点创建cloudera-scm用户

# useradd --system --home=/opt/cm5.10.0/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

6、准备Parcels，用以安装CDH5

将CHD5相关的Parcel包放到主节点的/opt/cloudera/parcel-repo/目录中。