CDH6.1.0离线安装——笔记

一、概述

该文档主要记录大数据平台的搭建CDH版的部署过程，以供后续部署环境提供技术参考。

1.1 主流大数据部署方法

目前主流的hadoop平台部署方法主要有以下三种:

Apache hadoop
CDH (Cloudera’s Distribution Including Apache Hadoop)
HDP (Hortonworks Data Platform)

1.2 部署方法的比较

手工部署: 需要配置太多参数，配置繁琐，建议初学者部署方式

工具部署：比如Ambari和clouder Manger当前两大最主流的集群管理工具，前者是Hortonworks公司，后者是Cloudera公司）使用工具来，可以说是一键操作，难点都在工具Ambari或Cloudera Manger本身部署上。

两种部署方式的优缺点如下表1所示:

表1-1:手工方式和工具部署方式比较

内容	手工方式	工具方式
难易度	难，几乎不可能成功	简单易行
兼容性	自己解决兼容性的问题	自动安装兼容组件
组件支持数	支持全部组件	支持常用组件
优点	对组件和集群管理深刻	简单容易可行
缺点	太复杂，不可能成功	屏蔽太多的细节，妨碍对组件的理解

CDH和DHP比较如下表1-2所示

表1-2：CDH和DHP部署方式比较，如表2所示：

工具名	所属机构	开源性	社区	易用及稳定性	占有率
Cloudera Manger	Cloudera	商用	不支持	易用，稳定	高
Ambari	Hortonwork	开源	支持	较易用，较稳定	较高

二、各节点环境配置

本节主要描述部署CDH系统环境配置及前期准备工作

2.1 CDH 部署基本要求

机器数：3台
内存：最少2GB（官方建议8GB）
磁盘：100G

2.2 测试环境配置

测试部署环境基本配置，如下表2-1：

表2-1 部署环境基本参数

参数	数值	说明
机器数	3台	192.168.8[154,156,157]
内存	20GB
磁盘	300G
系统	Centos 7.3.1708
CDH版本	CDH-6.1.0	CDH目前支持100台免费支持

2.3 修改IP和主机名称

修改三台主机节点的名称和ip地址映射。

1) 第一步：修改主机名称(永久生效)

分别在三台主机(192.168.8.154,1192.168.8.156, 192.168.8.157)执行命令:

# hostnamectl set-hostname asiainfo-157

2) 第二步：修改hosts

分别在三台主机(192.168.8.154,1192.168.8.156, 192.168.8.157)执行命令：

# vim /etc/hosts

在文件末尾添加地址映射,务必主机名小写

3) 第三步: 重启网关

# systemctl restart network

2.4 关闭防火墙

分别在三台主机节点上执行如下命令关闭防火墙：

# systemctl stop firewalld.service #停止firewall

# systemctl disable firewalld.service #禁止firewall开机启动

# firewall-cmd --state #查看默认防火墙状态（关闭后显示not running，开启后显示running）

2.5 修改内核参数

修改transparent_hugepage参数(透明大页面压缩)

修改系统参数，这一参数默认值可能会导致CDH性能下降。

执行如下命令：

# echo never > /sys/kernel/mm/transparent_hugepage/defrag

# echo never > /sys/kernel/mm/transparent_hugepage/enabled

关闭告警：

# echo \'echo never > /sys/kernel/mm/transparent_hugepage/defrag\' >> /etc/rc.d/rc.local

# echo \'echo never > /sys/kernel/mm/transparent_hugepage/enabled\' >> /etc/rc.d/rc.local

# echo "alias ipv6 off" >> /etc/modprobe.d/dist.conf

# echo "alias net-pf-10 off" >> /etc/modprobe.d/dist.conf

修改swap空间的swappiness=0

该配置的目的为CDH最大限度的使用环境内存，执行如下命名：

# cat /proc/sys/vm/swappiness

# sysctl vm.swappiness=0

# echo 0 > /proc/sys/vm/swappiness

关闭告警：

# echo never > /sys/kernel/mm/transparent_hugepage/defrag

2.6 ssh免密码登陆

1）第一步:利用ssh-kegen生成秘钥

# ssh-keygen -t rsa -P ""

2）第二步：在三台主机节点上分别拷贝公钥文件

# cat ~/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys

3) 第三步：将三台主机节点上id_rsa.pub公钥都复制三台节点上的authorized_keys文件中

# vim /root/.ssh/authorized_keys

每个节点上添加如下秘钥内容

# ssh asiainfo-154 // 测试ssh

2.7 时间同步NTP服务器

采用搭建内网NTP服务器，内网服务器通过此NTP服务器进行时间同步

在测试环境中选定主服务器(192.168.8.154),其他服务器(156,157)都同步这台主服务器的时间来使得三台节点的时间同步。

1) 第一步: NTP服务器端配置首先确定服务器的时区正确

# timedatectl //查看具体时间时区

# timedatectl list-timezones //查看具所有时区

# timedatectl set-timezone Asia/Shanghai //设置时区

2) 第二步: 在三台主机节点上安装ntp服务器端

# yum -y install ntp

3）第三步: 在主服务器上配置NTP

# vim /etc/ntp.conf

a).注意红色部分为需修改部分

driftfile /var/lib/ntp/drift

restrict default nomodify notrap nopeer noquery

restrict 192.168.8.156 nomodify notrap nopeer noquery ## 本机地址

restrict 127.0.0.1

restrict ::1

restrict 192.168.8.0 mask 255.255.255.0 nomodify notrap #网管地址，限制范围route查看

# server 120.25.115.20 prefer # 优先选择阿里ntp服务

server 127.127.1.0 ## 本机服务

fudge 127.127.1.0 stratum 10

includefile /etc/ntp/crypto/pw

keys /etc/ntp/keys

disable monitor

b) 启动ntp服务

# sudo service ntpd start

c) 查看服务连接与监听端口

# netstat -tlunp | grep ntp

第一行说明ntp服务已经启动，ntp默认监听123端口。

4）第四步：ntp客户端配置

a) 修改ntp.conf，按照上面的方法配置server为刚才设置的服务器ip，并增加restrict配置（参数nomodify noquery notrap）

# vim /etc/ntp.conf

# 文件内容，修改为红色部分

driftfile /var/lib/ntp/drift

restrict default nomodify notrap nopeer noquery

restrict 192.168.8.154 nomodify notrap nopeer noquery #本机地址

restrict 127.0.0.1

restrict ::1

server 192.168.8.156 ## 服务器地址

Fudge 192.168.8.156 stratum 10

includefile /etc/ntp/crypto/pw

keys /etc/ntp/keys

disable monitor

b) 启动ntp服务

# service ntpd start

c) 手动同步

# ntpdate -u 192.168.8.154

d）查看ntp服务器与上层ntp的状态

# ntpq -p

# ntpstat

4) 第四步: 三台主机节点重启ntp服务并设置为开机启动

# systemctl ntpd restart // 重启

# systemctl ntpd enable // 开机启动

2.8 mysql 服务器

Mysql安装要求

名称：mysql
版本：5.7.11
系统：cennts 7
部署机器: 192.168.8.156

下载地址:

#wget http://dev.mysql.com/get/Downloads/MySQL-5.7/mysql-5.7.11-linux-glibc2.5-x86_64.tar.gz

1) 第一步：卸载本系统mysql

# rpm -qa | grep -i mysql 查看本地mysql

mysql-libs-5.1.61-4.el6.x86_64

#rpm -e mysql-libs-5.1.61-4.el6.x86_64 --nodeps 卸载mysql

1) 第二步: 解压安装

# tar -zxvf mysql-5.6.33-linux-glibc2.5-x86_64.tar.gz

# cp -r mysql-5.6.33-linux-glibc2.5-x86_64 /usr/local/mysql 复制解压后的指定目录

3) 第三步: linux上添加用户组和用户

#添加用户组

# groupadd mysql

#添加用户mysql 到用户组mysql

# useradd -g mysql mysql

4) 第四步: 创建目录并初始化(注意密码)使用及配置

# cd /usr/local/mysql/

# mkdir ./data/mysql

# chown -R mysql:mysql ./*

# ./bin/mysqld --user=mysql --basedir=/usr/local/mysql/ --datadir=/usr/local/mysql/data/mysql

--initialize

# cat support-files/mysql.server >> /etc/init.d/mysqld 添加到服务项中

修改启动脚本

# vi /etc/init.d/mysqld

#修改项：

basedir=/usr/local/mysql/

datadir=/usr/local/mysql/data/mysql

# chmod 755 /etc/init.d/mysqld

# cp support-files/my-default.cnf /etc/my.cnf #拷贝配置文件

# vim /etc/my.cnf

添加如下内容：

basedir=/usr/local/mysql/

datadir=/usr/local/mysql/data/mysql

5) 第五步: 加入环境变量，编辑/etc/profile，这样可以在任何地方用mysql命令了

# vim /etc/profile

MYSQL_HOME =/usr/local/mysql/bin

PATH=.:$MYSQL_HOME/bin:$PATH

# source /etc/profile 生效配置文件

6) 第六步: 启动数据库

# service mysqld start 启动mysql

# service mysqld stop 关闭mysql

# service mysqld status 查看运行状态

7) 第七步: root用户授权

# mysql –uroot –p

给所有主机登录的权限

>GRANT ALL PRIVILEGES ON *.* TO ‘root’@\'%’ IDENTIFIED BY ‘123456’;

> flush privileges;

给用户所有表的所有权限

>GRANT ALL PRIVILEGES ON *.* TO ‘root’@\'%’ IDENTIFIED BY ‘123456’ WITH GRANT OPTION;

> flush privileges;

2.9 java 运行环境

注意：CDH6安装下载中有oracle-j2sdk1.8-1.8.0+update141-1.x86_64.rpm安装包

1) 下载java jdk,版本为jdk1.8，注意必须为oracle

下载地址: http://download.oracle.com/otn-pub/java/jdk/8u181-b13/96a7b8442fe848ef90c96a2fad6ed6d1/jdk-8u181-linux-x64.tar.gz

2)卸载系统自带的jdk

# rpm –qa | grep java

# rpm –e –nodes java-version

3）三个节点上进行解压并安装

# cd /usr/java

注意:一定要安装在这个目录下，如果没有java自己创建java目录，否则后续CDH找不到

# tar zxvf jdk-8u181-linux-x64.tar.gz

编辑配置环境变量

# vim /etc/profile

JAVA_HOME=/usr/java/jdk1.8.0_181

CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar ### jps使用

PATH=$JAVA_HOME/bin:$HOME/bin:$HOME/.local/bin

# source /etc/profile

三、CDH部署配置

3.1 CDH安装概述

CDH 安装版本描述

Linux版本: centos 7
CDH 版本：CDH6.1.0
安装工具：CM6(clouldera manager)
安装方式: 离线/repo源安装，可选择一种

3.2 下载CDH6安装包

CDH6采用的是RPM包进行安装，可到官网下载RPM包进行安装

下面是安装包下载地址

下载CM6.1的安装包

https://archive.cloudera.com/cm6/6.1.0/redhat7/yum/RPMS/x86_64/cloudera-manager-agent-6.1.0-769885.el7.x86_64.rpm

https://archive.cloudera.com/cm6/6.1.0/redhat7/yum/RPMS/x86_64/cloudera-manager-daemons-6.1.0-769885.el7.x86_64.rpm

https://archive.cloudera.com/cm6/6.1.0/redhat7/yum/RPMS/x86_64/cloudera-manager-server-6.1.0-769885.el7.x86_64.rpm

https://archive.cloudera.com/cm6/6.1.0/redhat7/yum/RPMS/x86_64/cloudera-manager-server-db-2-6.1.0-769885.el7.x86_64.rpm

https://archive.cloudera.com/cm6/6.1.0/redhat7/yum/RPMS/x86_64/oracle-j2sdk1.8-1.8.0+update141-1.x86_64.rpm

https://archive.cloudera.com/cm6/6.1.0/allkeys.asc

下载CDH6.1的安装包

https://archive.cloudera.com/cdh6/6.1.0/parcels/CDH-6.1.0-1.cdh6.1.0.p0.770702-el7.parcel

https://archive.cloudera.com/cdh6/6.1.0/parcels/CDH-6.1.0-1.cdh6.1.0.p0.770702-el7.parcel.sha256

https://archive.cloudera.com/cdh6/6.1.0/parcels/manifest.json

CDH6.1.0 rpm软件包下载

https://archive.cloudera.com/cdh6/6.1.0/redhat7/yum/RPMS/noarch/

https://archive.cloudera.com/cdh6/6.1.0/redhat7/yum/RPMS/x86_64/

3.2.1 rpm包安装

l 下载文件

下载服务地址：https://archive.cloudera.com/cm6/6.1.0/redhat7/yum/RPMS/x86_64/

下载文件列表：

cloudera-manager-agent-6.1.0-769885.el7.x86_64.rpm
cloudera-manager-daemons-6.1.0-769885.el7.x86_64.rpm
cloudera-manager-server-6.1.0-769885.el7.x86_64.rpm
cloudera-manager-server-db-2-6.1.0-769885.el7.x86_64.rpm
oracle-j2sdk1.8-1.8.0+update141-1.x86_64.rpm

下载离线安装地址：https://archive.cloudera.com/cdh6/6.1.0/parcels/

下载文件列表：

CDH-6.1.0-1.cdh6.1.0.p0.770702-el7.parcel
CDH-6.1.0-1.cdh6.1.0.p0.770702-el7.parcel.sha256
manifest.json

注意：*.sha256中的hash值应该与manifest.json中的一致。

下载mysql驱动

mysql-connector-java-5.1.39.jar

上传到安装包

将服务安装包上传到每台机器目录/opt/cloudera-manager下，没有的创建

# mkdir /opt/cloudera-manager

安装服务包(顺序不可变)

安装java包

# rpm –ivh oracle-j2sdk1.8-1.8.0+update141-1.x86_64.rpm

安装daemons包

# rpm -ivh cloudera-manager-daemons-6.1.0-769885.el7.x86_64.rpm

主机上安装server服务

# rpm -ivh cloudera-manager-server-6.1.0-769885.el7.x86_64.rpm

每台机器上安装agent服务

# rpm -ivh cloudera-manager-agent-6.1.0-769885.el7.x86_64.rpm

移动paracel包到parcel-repo、

在安装服务后会自动生成/opt/cloulera/parcel-repo目录，将parcel移动到此目录

# 将三个包移动到/opt/cloulder目录下

# mv CDH-6.1.0-1.cdh6.1.0.p0.770702-el7.parcel

CDH-6.1.0-1.cdh6.1.0.p0.770702-el7.parcel.sha256

manifest.json /opt/clouldera/parcel-repo

修改parcel-repo的目录权限

# chmod –R cloudera-scm: cloudera-scm /opt/clouldera/parcel-repo

重名名*.sha256文件为*.sha后缀文件

# mv CDH-6.1.0-1.cdh6.1.0.p0.770702-el7.parcel.sha256

CDH-6.1.0-1.cdh6.1.0.p0.770702-el7.parcel.sha

注意：这里*.sha有两个要求，否则无法找到本地parcels目录文件

1) /opt/cloudera/parcel-repo的目录及子目录的权限为clouldera-scm

2) CDH-6.1.0-1.cdh6.1.0.p0.770702-el7.parcel.sha中的hash码，必须与manifest.json中的码一致

拷贝到到所有节点目录

# scp -r /opt/cloudera/parcel-repo/* root@asiainfo-154:/opt/cloudera/parcel-repo

# scp -r /opt/cloudera/parcel-repo/* root@asiainfo-157:/opt/cloudera/parcel-repo

3.2.2 repo源安装

可用vftp搭建一个ftp服务器来配置repos服务或使用python搭建一个HTTPServer

通过可以联网的机器各类安装包下载

# mkdir -p /var/www/html/cloudera-repos

#wget https://archive.cloudera.com/cm6/6.1.1/allkeys.asc -P /var/www/html/cloudera-repos/cm6/6.1.1/

#wget --recursive --no-parent --no-host-directories https://archive.cloudera.com/gplextras6/6.1.1/redhat7/ -P /var/www/html/cloudera-repos

#wget --recursive --no-parent --no-host-directories https://archive.cloudera.com/cdh6/6.1.1/redhat7/ -P /var/www/html/cloudera-repos

#wget --recursive --no-parent --no-host-directories https://archive.cloudera.com/cm6/6.1.1/redhat7/ -P /var/www/html/cloudera-repos

拷贝到一台网路环境比较好的机器上

将cloudera-repos文件夹，打包拷到内网环境中，因为大小超过4G ,所以可以采用压缩软件分包或者直接用一个NTFS格式的U盘。

# mkdir -p /var/www/html/cloudera-repos

将下载的文件拷贝到此目录下

解压缩，建立rpm包服务器

在内网环境中cd到 cloudera-repos 同级目录

# cd /var/www/html/cloudera-repos

# python -m SimpleHTTPServer 8900 ##搭建一个临时HTTP服务

这里就是一个临时的服务，安装完成CDH所有组件之后，可以ctrl + c 就停止了

每台机器上都配置repo源

删除CenteOS 自带的源，因为你无法访问外网，不删除会报错

# rm -rf /etc/yum.repos.d/Centos*

# vim /etc/yum.repos.d/cloudera-repo.repo

添加yum配置

[cloudera-repo]

name=cloudera-repo

baseurl=http://127.0.0.1:8900/cloudera-repos/cm6/6.1.1/redhat7/yum/ #里面的IP对应的是你的rpm包的服务器ip

enabled=1

gpgcheck=0

在添加一个CDH组件的包源

# vi /etc/yum.repos.d/cloudera-repo-cdh.repo

[cloudera-repo-cdh]

name=cloudera-repo-cdh

baseurl=http://127.0.0.1:8900/cloudera-repos/cdh6/6.1.1/redhat7/yum/

enabled=1

gpgcheck=0

清理 repos 源

Yum clean all

自此，所有的配置都已经结束，开始安装！！！！CM的安装就找集群里面的一台机器安装，成功之后，通过web页面可以可视化的自动把集群中其他机器安装CM服务和CDH组件。

安装服务包

安装JDK

# yum install oracle-j2sdk1.8

所有的master节点

# yum install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-serve

所有的datanode节点

#yum install cloudera-manager-daemons cloudera-manager-agent

3.3 cm中mysql配置

1) mysql中创建cloudera hadoop,cm 所需的数据库

grant all privileges on *.* to \'root\'@\'%\' identified by \'123456\';

create database scm default character set utf8 default collate utf8_general_ci;

grant all on scm.* to \'scm\'@\'%\' identified by \'123456\';

create database amon default character set utf8 default collate utf8_general_ci;

grant all on amon.* to \'amon\'@\'%\' identified by \'123456\';

create database rman default character set utf8 default collate utf8_general_ci;

grant all on rman.* to \'rman\'@\'%\' identified by \'123456\';

create database hue default character set utf8 default collate utf8_general_ci;

grant all on hue.* to \'hue\'@\'%\' identified by \'123456\';

create database metastore default character set utf8 default collate utf8_general_ci;

grant all on metastore.* to \'hive\'@\'%\' identified by \'123456\';

create database sentry default character set utf8 default collate utf8_general_ci;

grant all on sentry.* to \'sentry\'@\'%\' identified by \'123456\';

create database nav default character set utf8 default collate utf8_general_ci;

grant all on nav.* to \'nav\'@\'%\' identified by \'123456\';

create database oozie default character set utf8 default collate utf8_general_ci;

grant all on oozie.* to \'oozie\'@\'%\' identified by \'123456\';

flush privileges;

2) mysql 驱动放置位置(两个位置)

位置1：

# mv /tmp/mysql-connector-java-5.1.39.jar /opt/cloudera-manager/cm-5.14.2/share/cmf/lib/

位置2：（注意将MySQL包重命名为mysql-connector-java.jar）：

# mv /tmp/mysql-connector-java-5.1.39.jar /tmp/mysql-connector-java.jar

# mv /tmp/mysql-connector-java.jar /usr/share/java/ # 如果没有目录自己创建

3）使用cm初始化mysql（建议在192.168.8.156（主节点）的主机mysql安装机器）

# /opt/cloudera-manager/cm-5.14.2/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -p123456 --scm-host localhost scm scm scm

3.4 cdh rpm依赖包

1) 安装 cdh cdm所需的rpm 包，不安装会出现相关的问题

yum -y install chkconfig

yum -y install python

yum -y install bind-utils

yum -y install psmisc

yum -y install libxslt

yum -y install zlib

yum -y install sqlite

yum -y install cyrus-sasl-plain

yum -y install cyrus-sasl-gssapi

yum -y install fuse

yum -y install portmap

yum -y install fuse-libs

yum -y install redhat-lsb

yum -y install bind-utils

yum -y install libxslt

yum -y install sqlite

yum -y install cyrus-sasl-plain

yum -y install cyrus-sasl-gssapi

yum -y install fuse

yum -y install fuse-libs

yum -y install httpd

yum -y install mod_ssl

yum -y install openssl-devel

yum -y install python-psycopg2

yum -y install MySQL-python

yum -y install libpq.so.5()(64bit)

3.5 cm中agent和server服务

0）agent节点配置服务

#vim /etc/cloudera-scm-agent/config.ini

1）主节点执行(192.168.8.156)

启动cloudera-scm-server

# systemctl start cloudera-scm-server

查看启动日志

# tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log

2）各子节点(192.168.8.156, 192.168.8.154, 192.168.8.157)

启动cloudera-scm-agent

# systemctl start cloudera-scm-agent

查看启动日志

# tail -f /var/log/cloudera-scm-agent/cloudera-scm-agent.log

3) 查看状态(192.168.8.156)

# systemctl start cloudera-scm-agent

# systemctl start cloudera-scm-server

4) 关闭服务

5) # systemctl stop cloudera-scm-agent

6) # systemctl stop cloudera-scm-server

5) 开机启动

# systemctl enable cloudera-scm-agent

# systemctl enable cloudera-scm-server

3.6 cm中存在的目录汇总

目录	作用	说明
/run/cloudera-scm-agent	Agent服务运行的目录
/run/cloudera-scm-agent/process	Agent维护程序目录
/run/cloudera-scm-server	Server运行维护目录
/etc/cloudera-scm-agent	Agent 配置目录
/etc/cloudera-scm-server	Server配置目录
/var/lib/cloudera-scm-server	Agent 运行文件目录
/var/lib/cloudera-scm-agent	Server 运行文件目录
/var/log/cloudera-scm-server	Agent日志文件目录
/var/log/cloudera-scm-agent	Server日志文件目录
/opt/cloudera	安装文件目录

四、cm部署CDH集群

4.1 cm 界面化部署

搭建时，忘记截图，就用以前的CHD5的图片吧，操作和界面差不多，撮合看

在浏览器中输入cm地址:,cm登陆地址:

http://192.168.8.156:7180/cmf/home

1) 第一步: 输入cm 地址，可以看到登陆界面

CM初始用户和密码为:admin/admin，登陆

2) 第二步: 许可界面，点击同意条款，点击继续，进行下一步

3) 第三步：选择cdh的版本

cdh提供三个版本:免费版和收费版，此次选择免费版，点击继续

4) 第四步：版权许可声明，点击继续

5) 第五步: 指定安装主机

6) 也可以查看当前的主机列表

选择主机列表后，点击继续

7) 第六步: 集群安装界面

选择方式:使用parcel方式
选择CDH的版本: CHD-6.1.0.p0.1
其他parcel：都选”无”
选择后，点击继续

8) 第七步:集群安装界面，安装时间比较长

9) 第八步：集群设置

本次安装选择含spark的内核

9）第九步：集群安装正确性检查

如果出现警告标示，可按照提示进行配置。

10) 第十步：集群角色的划分，可选择默认角色分配方案

也可查看每台机器中的角色分配情况。

设置完毕后，点击继续

11）第十一步：配置和测试数据库连接

选择配置好的数据看名称、账号和密码。点击测试连接，如果测试通过，点击继续。如果不通过，可以查看日志文件

# tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log

排查错误。

12）第十二步：集群的自动安装

安装进度界面

等到集群整个安装完毕后，点击完成。

即可完成整个集群的搭建。

13) 第十三步：集群登陆

输入账号和密码admin/admin，点击登录，如果看到下面的界面，集群正确搭建完毕。

五、CDH 6.X完全卸载步骤

8.1 关闭集群中的所有服务

这个可以通过clouder manger 主页关闭集群

8.2 卸载

[root@master ~]# systemctl enable cloudera-scm-server

[root@slave1 ~]#systemctl enable cloudera-scm-agent

[root@slave2~]# systemctl enable cloudera-scm-agent

一下都是所有要卸载的集群均要执行清除工作：

[root@master ~]# umount /var/run/cloudera-scm-agent/process

[root@slave1 ~]# umount /var/run/cloudera-scm-agent/process

[root@slave2 ~]# umount /var/run/cloudera-scm-agent/process

[root@master ~]# rm -rf /usr/share/cmf /var/lib/cloudera* /var/cache/yum/x86_64/6/cloudera* /var/log/cloudera* /var/run/cloudera* /etc/cloudera* /var/log/hadoop-*

8.3 卸载安装包：

[root@slave1 ~]# rpm -qa | grep cloudera

[root@slave2 ~]# for f in `rpm -qa | grep cloudera ` ; do rpm -e ${f} ; done #（如果有保存，在执行一遍）

8.4 清除安装文件

# rm -rf /var/lib/hadoop-* /var/lib/impala /var/lib/solr /var/lib/zookeeper /var/lib/hue /var/lib/oozie /var/lib/pgsql /var/lib/sqoop2 /data/dfs/ /data/impala/ /data/yarn/ /dfs/ /impala/ /yarn/ /var/run/hadoop-*/ /var/run/hdfs-*/ /usr/bin/hadoop* /usr/bin/zookeeper* /usr/bin/hbase* /usr/bin/hive* /usr/bin/hdfs /usr/bin/mapred /usr/bin/yarn /usr/bin/sqoop* /usr/bin/oozie /etc/hadoop* /etc/zookeeper* /etc/hive* /etc/hue /etc/impala /etc/sqoop* /etc/oozie /etc/hbase* /etc/hcatalog

//只删除hadoop系列的，不要删除其他软件的，否则其他软件的版本控制会被破坏

[root@master alternatives]# rm -rf ` find /var/lib/alternatives/* ! -name "mta" ! -name "print" ! -name "zlibrary-ui" -mtime -3`

[root@master alternatives]# rm -rf /etc/alternatives/*

8.5. 杀死相关进程：

for u in hdfs mapred cloudera-scm hbase hue zookeeper oozie hive impala flume; do sudo kill $(ps -u $u -o pid=); done

8.6. 删除parcel包分发文件和解压文件

rm -rf /opt/cloudera

秒客网

CDH6.1.0离线安装——笔记

一、概述

1.1 主流大数据部署方法

1.2 部署方法的比较

二、各节点环境配置

2.1 CDH 部署基本要求

2.2 测试环境配置

2.3 修改IP和主机名称

2.4 关闭防火墙

2.5 修改内核参数

2.6 ssh免密码登陆

2.7 时间同步NTP服务器

2.8 mysql 服务器

2.9 java 运行环境

三、CDH部署配置

3.1 CDH安装概述

3.2 下载CDH6安装包

3.2.1 rpm包安装

3.2.2 repo源安装

3.3 cm中mysql配置

3.4 cdh rpm依赖包

3.5 cm中agent和server服务

3.6 cm中存在的目录汇总

四、cm部署CDH集群

4.1 cm 界面化部署

五、CDH 6.X完全卸载步骤

8.1 关闭集群中的所有服务

8.2 卸载

8.3 卸载安装包：

8.4 清除安装文件

8.5. 杀死相关进程：

8.6. 删除parcel包分发文件和解压文件

相关文章

CDH6.1.0离线安装——笔记

一、 概述

1.1 主流大数据部署方法

1.2 部署方法的比较

二、 各节点环境配置

2.1 CDH 部署基本要求

2.2 测试环境配置

2.3 修改IP和主机名称

2.4 关闭防火墙

2.5 修改内核参数

2.6 ssh免密码登陆

2.7 时间同步NTP服务器

2.8 mysql 服务器

2.9 java 运行环境

三、CDH部署配置

3.1 CDH安装概述

3.2 下载CDH6安装包

3.2.1 rpm包安装

3.2.2 repo源安装

3.3 cm中mysql配置

3.4 cdh rpm依赖包

3.5 cm中agent和server服务

3.6 cm中存在的目录汇总

四、cm部署CDH集群

4.1 cm 界面化部署

五、CDH 6.X完全卸载步骤

8.1 关闭集群中的所有服务

8.2 卸载

8.3 卸载安装包：

8.4 清除安装文件

8.5. 杀死相关进程：

8.6. 删除parcel包分发文件和解压文件

相关文章

一、概述

二、各节点环境配置