Cloudera Manager5及CDH5在线(cloudera-manager-installer.bin)安装详细文档

时间:2021-11-11 04:35:09
 
1.1 说明

CDH官方有具体安装部署文档,及步骤详情

http://www.cloudera.com/content/cloudera/zh-CN/documentation/core/v5-3-x/topics/installation_installation.html

此处为第一种方式Cloudera Manager 自动安装

Cloudera Manager 5的要求和支持的版本具体详情

http://www.cloudera.com/content/cloudera/zh-CN/documentation/core/v5-3-x/topics/cm_ig_cm_requirements.html

1.2 部署前准备工作

做好下述工作,部署起来基本不会出问题

1) 群集主机必须具有正常工作的网络名称解析系统和格式正确的 /etc/hosts 文件。所有群集主机必须正确配置正向和反向主机 DNS 解析。

2) 用root用户操作,集群间ssh无密码登录畅通,从而可以确保创建所需的目录,以及确保流程和文件都由适当的用户所拥有(例如,hdfs 和 mapred 用户)。

a) ssh-keygen -t rsa 生成密匙

b) cp /root/.ssh/id_rsa.pub /root/.ssh/authorized_keys

c) ssh-copy-id -i ~/.ssh/id_rsa.pub root@192.168.15.241:~/.ssh/authorized_keys 将匙导入到authorized_keys文件

3) 必须禁用ipv6(重启后生效)。

a) vi /etc/modprobe.conf加上两条

b) alias net-pf-10 off

c) alias ipv6 off

d) 验证禁用ipv6是否成功 ip address list

4) 关闭防火墙。或者开放特定端口,端口太多,直接关闭防火墙。

a) Service iptables stop

b) chkconfig iptables off

5) 对于 RedHat 和 CentOS,每个主机上的 /etc/sysconfig/network 文件必须包含您为该主机设置(或验证)的主机名

6) Cloudera Manager 和 CDH 使用多个用户帐户和组来完成任务。用户帐户和组的设置取决于您选择安装的组件。请勿删除这些帐户或组,也不要修改其权限。确保现有系统不会防止这些帐户和组正常工作。

7) 调整集群时间同步。可做时间服务器(ntp server)

8) 关闭SELinux(重启后生效)。

a) vi /etc/rc.local

b) 设置SELINUX=disabled

9) 最大限度使用物理内存。

a) Vi /etc/sysctl.conf 添加

b) vm.swappiness = 0

c) sysctl -p 更改生效

10) 关闭“透明大页面”,它可能会导致重大的性能问题。

a) 执行echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag

b) 将执行命令添加到/etc/rc.local

1.3 部署

1、 下载执行oudera-manager-installer.bin

http://www.cloudera.com/content/www/en-us/downloads/cdh/5-4-8.html 下载网址

wget http://archive.cloudera.com/cm5/installer/latest/cloudera-manager-installer.bin

chmod u+x cloudera-manager-installer.bin

./cloudera-manager-installer.bin

2、 然后一直下一步,accept等,直到执行完成。

3、 访问http://主机:7108页安装

4、登录 Cloudera Manager Admin Console。默认凭据包括:用户名:admin密码:admin。Cloudera Manager 不支持更改已安装帐户的 admin 用户名。

Cloudera Manager5及CDH5在线(cloudera-manager-installer.bin)安装详细文档

5、选择要安装的 Cloudera Manager 版本

Cloudera Manager5及CDH5在线(cloudera-manager-installer.bin)安装详细文档

6、通过主机名和 IP 地址范围查找您指定的群集主机

Cloudera Manager5及CDH5在线(cloudera-manager-installer.bin)安装详细文档

Cloudera Manager5及CDH5在线(cloudera-manager-installer.bin)安装详细文档

7、使用 SSH 连接至每台主机以安装 Cloudera Manager Agent 和其他组件

Cloudera Manager5及CDH5在线(cloudera-manager-installer.bin)安装详细文档

8、(可选)在群集主机上安装 Oracle JDK。如果您选择不安装 JDK,则必须在运行向导之前按照官方说明将其安装在所有群集上

Cloudera Manager5及CDH5在线(cloudera-manager-installer.bin)安装详细文档

9、提供ssh登录凭据

Cloudera Manager5及CDH5在线(cloudera-manager-installer.bin)安装详细文档

10、开始安装

Cloudera Manager5及CDH5在线(cloudera-manager-installer.bin)安装详细文档

Cloudera Manager5及CDH5在线(cloudera-manager-installer.bin)安装详细文档

11、下载CDH parcel,这个比较大,大概1.5G左右

Cloudera Manager5及CDH5在线(cloudera-manager-installer.bin)安装详细文档

Cloudera Manager5及CDH5在线(cloudera-manager-installer.bin)安装详细文档

12、检查主机的正确性,如果有问题,按照检查提示进行解决(按照我部署前的准备工作进行准备,这里不会有问题)。

Cloudera Manager5及CDH5在线(cloudera-manager-installer.bin)安装详细文档

13、选择要安装的服务,选择所有服务也可以自定义服务,自己试验搭建内存较小,可以选择核心hadoop

Cloudera Manager5及CDH5在线(cloudera-manager-installer.bin)安装详细文档

14、设置数据库,并测试连接

Cloudera Manager5及CDH5在线(cloudera-manager-installer.bin)安装详细文档

Cloudera Manager5及CDH5在线(cloudera-manager-installer.bin)安装详细文档

15、 集群设置,大多都是一些目录的设置,默认即可

Cloudera Manager5及CDH5在线(cloudera-manager-installer.bin)安装详细文档

16、首次启动

Cloudera Manager5及CDH5在线(cloudera-manager-installer.bin)安装详细文档

Cloudera Manager5及CDH5在线(cloudera-manager-installer.bin)安装详细文档

Cloudera Manager5及CDH5在线(cloudera-manager-installer.bin)安装详细文档

安装完成!

17、安装完成后,里面会有一些错误,按照提示进行修改配置即可(有些不影响使用)。

Cloudera Manager5及CDH5在线(cloudera-manager-installer.bin)安装详细文档