CDH6.3.1搭建教程

时间：2022-11-21 12:01:02

⼀.准备⼯作

1.离线部署主要分为三块:

a.MySQL离线部署

b.CM离线部署

c.Parcel⽂件离线源部署

2.规划:

CDH6.3.1搭建教程

3.下载源:

⽀持的版本 ⭐: requirements supported versions

CM

cm6.3.1-redhat7.tar.gz

Parcel

CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel

CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel.sha1

manifest.json

JDK

​​https://www.oracle.com/technetwork/java/javase/downloads/java-archive-javase8-2177648.html​​

下载jdk-8u181-linux-x64.tar.gz

MySQL ​​https://dev.mysql.com/downloads/mysql/5.7.html#downloads​​

下载mysql-5.7.26-el7-x86_64.tar.gz

MySQL jdbc jar

mysql-connector-java-5.1.47.jar

下载完成后要重命名去掉版本号:

mv mysql-connector-java-5.1.47.jar mysql-connector-java.jar

⼆.集群节点初始化

​1.阿⾥云上海区购买3台，按量付费虚拟机

CentOS7.2操作系统，2核16G最低配置(8G 勉强也可以)

2.当前笔记本或台式机配置hosts⽂件

MAC: /etc/hosts

Window: C:\windows\system32\drivers\etc\hosts

公⽹地址 机器名称:

47.74.130.251 ruozedata001

161.117.1.169 ruozedata002

47.88.170.121 ruozedata003

3.设置所有节点的hosts⽂件

私有地址(内⽹地址) 机器名称:

echo "172.21.230.214 ruozedata001">> /etc/hosts

echo "172.21.230.216 ruozedata002">> /etc/hosts

echo "172.21.230.215 ruozedata003">> /etc/hosts

4.关闭所有节点的防⽕墙及清空规则

systemctl stop firewalld

systemctl disable firewalld

iptables -F

5.关闭所有节点的selinux

​vi /etc/selinux/config

将SELINUX=enforcing改为SELINUX=disabled

设置后需要重启才能⽣效

6.设置所有节点的时区⼀致及时钟同步

6.1.时区

[root@ruozedata001 ~]# date

Wed Oct 23 13:51:31 CST 2019

[root@ruozedata001 ~]# timedatectl

Local time: Wed 2019-10-23 13:51:49 CST

Universal time: Wed 2019-10-23 05:51:49 UTC

RTC time: Wed 2019-10-23 13:51:49

Time zone: Asia/Shanghai (CST, +0800)

NTP enabled: yes

NTP synchronized: yes

RTC in local TZ: yes

DST active: n/a

#查看命令帮助，学习⾄关重要，⽆需百度，太

[root@ruozedata001 ~]# timedatectl --help

timedatectl [OPTIONS...] COMMAND ...

Query or change system time and date settings.

-h --help Show this help message

--version Show package version

--no-pager Do not pipe output into a pager

--no-ask-password Do not prompt for password

-H --host=[USER@]HOST Operate on remote host

-M --machine=CONTAINER Operate on local container

--adjust-system-clock Adjust system clock when changing local RTC mode

​Commands:

status Show current time settings

set-time TIME Set system time

set-timezone ZONE Set system time zone

list-timezones Show known time zones

set-local-rtc BOOL Control whether RTC is in local time

set-ntp BOOL Control whether NTP is enabled

#查看哪些时区

[root@ruozedata001 ~]# timedatectl list-timezones

Africa/Abidjan

Africa/Accra

Africa/Addis_Ababa

Africa/Algiers

Africa/Asmara

Africa/Bamako

​#所有节点设置亚洲上海时区

[root@ruozedata001 ~]# timedatectl set-timezone Asia/Shanghai

[root@ruozedata002 ~]# timedatectl set-timezone Asia/Shanghai

[root@ruozedata003 ~]# timedatectl set-timezone Asia/Shanghai

6.2.时间

#所有节点安装ntp

[root@ruozedata001 ~]# yum install -y ntp

#选取ruozedata001为ntp的主节点

[root@ruozedata001 ~]# vi /etc/ntp.conf

#time

server 0.asia.pool.ntp.org

​server ​​​​1.asia.pool.ntp.org​​​

​server 2.asia.pool.ntp.org

server 3.asia.pool.ntp.org

#当外部时间不可⽤时，可使⽤本地硬件时间

server 127.127.1.0 iburst local clock

#允许哪些⽹段的机器来同步时间

restrict 172.21.230.0 mask 255.255.255.0 nomodify notrap

#开启ntpd及查看状态

[root@ruozedata001 ~]# systemctl start ntpd

​[root@ruozedata001 ~]# systemctl status ntpd

● ntpd.service - Network Time Service

Loaded: loaded (/usr/lib/systemd/system/ntpd.service; enabled; vendor preset: d

isabled)

Active: active (running) since Sat 2019-05-11 10:15:00 CST; 11min ago

Main PID: 18518 (ntpd)

CGroup: /system.slice/ntpd.service

!"18518 /usr/sbin/ntpd -u ntp:ntp -g

May 11 10:15:00 ruozedata001 systemd[1]: Starting Network Time Service...

May 11 10:15:00 ruozedata001 ntpd[18518]: proto: precision = 0.088 usec

May 11 10:15:00 ruozedata001 ntpd[18518]: 0.0.0.0 c01d 0d kern kernel time sync en

abled

May 11 10:15:00 ruozedata001 systemd[1]: Started Network Time Service.

#验证

[root@ruozedata001 ~]# ntpq -p

remote refid st t when poll reach delay offset jitter

==============================================================================

LOCAL(0) .LOCL. 10 l 726 64 0 0.000 0.000 0.000

#其他从节点停⽌禁⽤ntpd服务

[root@ruozedata002 ~]# systemctl stop ntpd

[root@ruozedata002 ~]# systemctl disable ntpd

​Removed symlink /etc/systemd/system/multi-user.target.wants/ntpd.service.

[root@ruozedata002 ~]# /usr/sbin/ntpdate ruozedata001

11 May 10:29:22 ntpdate[9370]: adjust time server 172.19.7.96 offset 0.000867 sec

#每天凌晨同步ruozedata001节点时间

[root@ruozedata002 ~]# crontab -e

00 00 * * * /usr/sbin/ntpdate ruozedata001

[root@ruozedata003 ~]# systemctl stop ntpd

[root@hadoop004 ~]# systemctl disable ntpd

Removed symlink /etc/systemd/system/multi-user.target.wants/ntpd.service.

[root@hadoop005 ~]# /usr/sbin/ntpdate ruozedata001

11 May 10:29:22 ntpdate[9370]: adjust time server 172.19.7.96 offset 0.000867 sec

#每天凌晨同步ruozedata001节点时间

[root@ruozedata003 ~]# crontab -e

00 00 * * * /usr/sbin/ntpdate ruozedata001

7.每个节点部署JDK

​mkdir /usr/java

tar -xzvf jdk-8u181-linux-x64.gz -C /usr/java/

#切记必须修正所属⽤户及⽤户组

chown -R root:root /usr/java/jdk1.8.0_181

echo "export JAVA_HOME=/usr/java/jdk1.8.0_181" >> /etc/profile

echo "export PATH=/usr/java/jdk1.8.0_181/bin:${PATH}" >> /etc/profile

source /etc/profile

which java

8.ruozedata001节点离线部署MySQL5.7(假如觉得困难哟，就⾃⾏选择RPM部署，

因为该部署⽂档是我司⽣产⽂档)

⽂档链接:​​https://github.com/Hackeruncle/MySQL​​

ruozedata001:mysqladmin:/usr/local/mysql/data:>mysql -uroot -pruozedata

mysql>

9.创建CDH的元数据库和⽤户、amon服务的数据库及⽤户

create database cmf DEFAULT CHARACTER SET utf8;

create database amon DEFAULT CHARACTER SET utf8;

grant all on cmf.* TO 'cmf'@'%' IDENTIFIED BY 'www.ruozedata.com';

grant all on amon.* TO 'amon'@'%' IDENTIFIED BY 'www.ruozedata.com';

flush privileges;

10.ruozedata001节点部署mysql jdbc jar

mkdir -p /usr/share/java/

重命名不能带版本号

cp mysql-connector-java-5.1.47.jar /usr/share/java/mysql-connector-java.jar

三.CDH部署

1.离线部署cm server及agent

1.1.所有节点创建⽬录及解压

mkdir /opt/cloudera-manager

tar -xzvf cm6.3.1-redhat7.tar.gz -C /opt/cloudera-manager/

1.2.选择ruozedata001为cm server，不下载依赖包直接部署

cd /opt/cloudera-manager/cm6.3.1/RPMS/x86_64

rpm -ivh cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm --nodeps --force

rpm -ivh cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm --nodeps --force

1.3.所有节点(包含ruozedata001)为cm agent，不下载依赖包直接部署

cd /opt/cloudera-manager/cm6.3.1/RPMS/x86_64

rpm -ivh cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm --nodeps --force

rpm -ivh cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm --nodeps --force

1.4.所有节点修改agent的配置，指向server的节点ruozedata001

sed -i "s/server_host=localhost/server_host=ruozedata001/g" /etc/cloudera-scm-agen

t/config.ini

1.5.主节点修改server的配置:

​vi /etc/cloudera-scm-server/db.properties

com.cloudera.cmf.db.type=mysql

com.cloudera.cmf.db.host=ruozedata001

com.cloudera.cmf.db.name=cmf

com.cloudera.cmf.db.user=cmf

com.cloudera.cmf.db.password=www.ruozedata.com

com.cloudera.cmf.db.setupType=EXTERNAL

2.ruozedata001节点部署离线parcel源

2.1.安装httpd服务

yum install -y httpd

2.2.部署离线parcel源

$ mkdir -p /var/www/html/cdh6_parcel

[root@ruozedata001 CDH6.3.1]# cp CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel /var/

www/html/cdh6_parcel/

[root@ruozedata001 CDH6.3.1]# mv CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel.sha1 /

​var/www/html/cdh6_parcel/CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel.sha

[root@ruozedata001 CDH6.3.1]# mv manifest.json /var/www/html/cdh6_parcel/

$ ll

total 3081664

-rw-r--r-- 1 root root 2083878000 Oct 23 13:44 CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7

.parcel

-rw-r--r-- 1 root root 40 Oct 23 13:44 CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7

.parcel.sha1

-rw-r--r-- 1 root root 1411444147 Oct 23 13:43 cm6.3.1-redhat7.tar.gz

-rw-r--r-- 1 root root 173271626 Oct 23 13:43 jdk-8u45-linux-x64.gz

-rw-r--r-- 1 root root 33887 Oct 23 13:43 manifest.json

-rw-r--r-- 1 root root 548193637 Oct 23 13:42 mysql-5.7.11-linux-glibc2.5-x86_64.

tar.gz

-rw-r--r-- 1 root root 1007502 Sep 1 12:31 mysql-connector-java-5.1.47.jar

$ mv CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel /var/www/html/cdh6_parcel/

$ mv CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel.sha1 /var/www/html/cdh6_parcel/CDH

-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel.sha

$ mv manifest.json /var/www/html/cdh6_parcel/

sha1名称⽂件时，重命名去掉1，不然在部署过程CM认为如上⽂件下载未完整，会持续下载

2.3.启动httpd，window查看

​systemctl start httpd

window/mac: ​​http://ruozedata001/cdh6_parcel/ ​​查看是否可以访问

本地配置

CDH6.3.1搭建教程

3.ruozedata001节点启动Server

3.1.启动server systemctl start cloudera-scm-server

查看⽇志:

d /var/log/cloudera-scm-server/

$ ll

total 20

-rw-r----- 1 cloudera-scm cloudera-scm 18265 Oct 23 15:37 cloudera-scm-server.log

-rw-r----- 1 cloudera-scm cloudera-scm 0 Oct 23 15:37 cmf-server-nio.log

-rw-r----- 1 cloudera-scm cloudera-scm 0 Oct 23 15:37 cmf-server-perf.log

$ tail -F cloudera-scm-server.log 有

错误就根据错误解决，没有错误，等待1min，出现7180端⼝，表明是成功的。

CDH6.3.1搭建教程

3.2.阿⾥云web界⾯，设置该ruozedata001节点防⽕墙放开7180端⼝

3.3.等待1min，打开 http://ruozedata001:7180

账号密码:admin/admin

3.4.假如打不开，去看server的log，根据错误仔细排查错误

4.所有节点启动Agent

systemctl start cloudera-scm-agent

5.接下来，全部Web界⾯操作

页面信息已做微调

CDH6.3.1搭建教程

6.欢迎使⽤Cloudera Manager--最终⽤户许可条款与条件。勾选

CDH6.3.1搭建教程

CDH6.3.1搭建教程

7.欢迎使⽤Cloudera Manager--您想要部署哪个版本？选择Cloudera Express免费版本

CDH6.3.1搭建教程

8.欢迎:在CM⾥添加⼀个集群

CDH6.3.1搭建教程

9.修改集群名称:gl

CDH6.3.1搭建教程


CDH6.3.1搭建教程

CDH6.3.1搭建教程

配置本地源注意点：

1、只留一条配置信息

2、https去除s成http;

3、IP设置为内置IP或者hosts别名 最好是别名

​http://hadoop2/cdh6_parcel​

CDH6.3.1搭建教程

CDH6.3.1搭建教程

CDH6.3.1搭建教程

静静等待安装，有人显示运行状态失败需要重新配置重新启动agent服务

CDH6.3.1搭建教程

CDH6.3.1搭建教程

没有任何性能与“透明大页面”设置有关。

大透明页面设置修改：

echo never > /sys/kernel/mm/transparent_hugepage/defrag

echo never > /sys/kernel/mm/transparent_hugepage/enabled

CDH6.3.1搭建教程

Cloudera 建议将 /proc/sys/vm/swappiness 设置为最大值 10

Cloudera 建议将 /proc/sys/vm/swappiness 设置为最大值 10。当前设置为 30。使用 sysctl 命令在运行时更改该设置并编辑 /etc/sysctl.conf，以在重启后保存该设置。您可以继续进行安装，但 Cloudera Manager 可能会报告您的主机由于交换而运行状况不良。以下主机将受到影响

问题：

Centos 7 下安装CDH，群集安装时出现的警告：

CDH6.3.1搭建教程

解决方法：

临时修改：

  1. sysctl vm.swappiness=10
  2. cat /proc/sys/vm/swappiness

这里我们的修改已经生效，但是如果我们重启了系统，又会变成60.

永久修改：

在/etc/sysctl.conf

vm.swappiness=10

或者：

echo 'vm.swappiness=10'>> /etc/sysctl.conf

CDH6.3.1搭建教程

选择安装服务，由于服务器受限，同时为了确定CDH部署成功，我们确定先部署基本服务，后续服务根据需求添加。

CDH6.3.1搭建教程

CDH6.3.1搭建教程

zookeeper节点配置为所有节点

yarn高可用配置

CDH6.3.1搭建教程

CDH6.3.1搭建教程

CDH6.3.1搭建教程

CDH6.3.1搭建教程

添加hive服务

CDH6.3.1搭建教程

CDH6.3.1搭建教程

标签：

相关文章