CentOS7部署CDH6.0.1大数据平台

时间:2021-01-31 16:43:47

Cloudera’s Distribution Including Apache Hadoop,简称“CDH”,基于Web的用户界面,支持大多数Hadoop组件,包括HDFSMapReduceHiveSparkHbaseZookeeperSqoop等,简化了大数据平台的安装、使用难度。本文档将演示CDH6.0.1的部署,该版本是目前最新版本,该版本Hadoop生态组件版本可以查看manifest.json文件,相关文件下载地址如下:

  • https://archive.cloudera.com/cdh6/6.0.1/parcels/
  • https://archive.cloudera.com/cm6/6.0.1/redhat7/yum/RPMS/x86_64/
  • 实施环境说明
  • 基础环境配置
  • 搭建本地yum源
  • 安装Mariadb数据库
  • 安装Cloudera-manager-server
  • 安装配置Cloudera-manager-client
  • Web UI指南操作部署集群

CentOS7部署CDH6.0.1大数据平台

实施环境说明

主机名 IP 配置 操作系统 角色
c1.heboan.com 9.110.187.120 2核/8G CentOS Linux release 7.2.1511 cm-server、cm-agent、mariadb5.5
c2.heboan.com 9.110.187.121 2核/8G CentOS Linux release 7.2.1511 cm-agent
c3.heboan.com 9.110.187.122 2核/8G CentOS Linux release 7.2.1511 cm-agent

环境说明:

  该环境配置非生产环境配置,是本人虚拟机的配置,一般企业大数据平台资源配置可如下参考:

  测试集群环境:

    机器数量: 5-10台

    机器配置: 硬盘(4TB)、内存(24G-32G)、CPU(6核)、网卡(万兆)

  生产集群环境:

    小型集群: 20台以下

    中型集群: 50台以下

    大型集群: 50台以上

准备软件包放到/root/toos/目录下:

CentOS7部署CDH6.0.1大数据平台

基础环境配置(所有机器进行的操作)

设置主机名

绑定主机名与ip的关系

# vim /etc/hosts
...
9.110.187.120 c1.heboan.com
9.110.187.121 c2.heboan.com
9.110.187.122 c3.heboan.com

/etc/hosts

配置NTP时间同步, 点我查看配置ntp服务器

设置ssh免密

//一路回车

# ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa):
Created directory '/root/.ssh'.
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
:ca::3a:1c::5e::::5c:e8:::a2:b1 root@c3.heboan.com
The key's randomart image is:
+--[ RSA ]----+
|+. ..oo=+. |
|oo. .Oo |
|E +oo |
| .. |
| . o S |
| . = o o |
| + o |
| . |
| |
+-----------------+

生成密钥对

ssh-copy-id -i ~/.ssh/id_rsa.pub c1.heboan.com
ssh-copy-id -i ~/.ssh/id_rsa.pub c2.heboan.com
ssh-copy-id -i ~/.ssh/id_rsa.pub c3.heboan.com

设置互信

配置文件打开数

#vim /etc/security/limits.conf
//末尾加上
* soft nofile
* hard nofile
* soft nproc
* hard nproc unlimited
* hard memlock ulimited
* soft memlock unlimited

/etc/security/limits.conf

关闭防火墙

systemctl stop firewalld.service
systemctl disable firewalld.service

firewalld

关闭selinux

//临时关闭,重启后失效
# setenforce //修改配置文件
# vim /etc/sysconfig/selinux
...
SELINUX=disabled

selinux

设置swap

# echo vm.swappiness =  >> /etc/sysctl.conf
# sysctl -p

/etc/sysctl.conf

设置透明大页面

# echo never > /sys/kernel/mm/transparent_hugepage/defrag
# echo never > /sys/kernel/mm/transparent_hugepage/enabled 将如下脚本添加到/etc/rc.d/rc.local文件中
if test -f /sys/kernel/mm/transparent_hugepage/enabled; then echo never > /sys/kernel/mm/transparent_hugepage/enabled fi if test -f /sys/kernel/mm/transparent_hugepage/defrag; then echo never > /sys/kernel/mm/transparent_hugepage/defrag fi

设置透明大页面

安装jdbc驱动

# mkdir -p /usr/share/java/
# cp mysql-connector-java-5.1..jar /usr/share/java/
# cd /usr/share/java/
# chmod mysql-connector-java-5.1..jar
# ln -s mysql-connector-java-5.1..jar mysql-connector-java.jar

装jdbc驱动

安装jdbc

# yum install -y oracle-j2sdk1.-1.8.+update141-.x86_64.rpm 

安装jdbc

配置环境变量

# cat /etc/profile.d/java.sh
export JAVA_HOME=/usr/java/jdk1.8.0_141-cloudera
export JAVA_BIN=/usr/java/jdk1.8.0_141-cloudera/bin
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME JAVA_BIN PATH CLASSPATH

/etc/profile.d/java.sh

搭建本地yum源(c1.heboan.com)

安装httpd服务

yum install -y httpd
systemctl start httpd

制作repo

# yum install createrepo

# cd /root/tools/cm/
# createrepo . # cd /root/tools/cdh
# createrepo .

将cm目录移动到/var/www/html目录下,使得用户可以http访问这些rpm包

# cd /root/tools
# mv cm/ /var/www/html/

CentOS7部署CDH6.0.1大数据平台

配置repo源(所有机器执行此操作)

# vim /etc/yum.repos.d/cm.repo
[cmrepo]
name = cm_repo
baseurl = http://c1.heboan.com/cm
enable = true
gpgcheck = false # yum repolist

配置数据(c1.heboan.com)

安装Mariadb

# yum install mariadb mariadb-server mariadb-devel
# systemctl start mariadb
# systemctl enable mariadb

初始化数据库设置root密码

mysql_secure_installation

使用root用户登录数据库创建相应的库和用户授权

create database cm default character set utf8;  CREATE USER 'cm'@'%' IDENTIFIED BY '';
GRANT ALL PRIVILEGES ON cm. * TO 'cm'@'%'; create database hive default character set utf8; CREATE USER 'hive'@'%' IDENTIFIED BY '';
GRANT ALL PRIVILEGES ON hive. * TO 'hive'@'%'; create database am default character set utf8; CREATE USER 'am'@'%' IDENTIFIED BY '';
GRANT ALL PRIVILEGES ON am. * TO 'am'@'%'; create database hue default character set utf8; CREATE USER 'hue'@'%' IDENTIFIED BY '';
GRANT ALL PRIVILEGES ON hue. * TO 'hue'@'%'; create database oozie default character set utf8; CREATE USER 'oozie'@'%' IDENTIFIED BY '';
GRANT ALL PRIVILEGES ON oozie. * TO 'oozie'@'%'; FLUSH PRIVILEGES;

数据库创建授权

安装Cloudera-manager-server(c1.heboan.com)

通过yum安装

yum -y install cloudera-manager-server

初始化cm数据库

/opt/cloudera/cm/schema/scm_prepare_database.sh mysql cm cm password

CentOS7部署CDH6.0.1大数据平台

启动Cloudera Manager Server

systemctl start cloudera-scm-server

温馨提示:

  1、机器配置低的情况下,该服务启动时间较长

  2、启动过程可查看日志:/var/log/cloudera-scm-server/cloudera-scm-server.log

  3、该服务会启动两个端口: 7180(提供web界面给我们操作,7182用于和agent通信)

拷贝cdh包到/opt/cloudera/parcel-repo/

cp /var/www/html/cdh/CDH-6.0.-.cdh6.0.1.p0.-el7.parcel* /opt/cloudera/parcel-repo/

cd /opt/cloudera/parcel-repo/
mv CDH-6.0.-.cdh6.0.1.p0.-el7.parcel.sha256 CDH-6.0.-.cdh6.0.1.p0.-el7.parcel.sha

重启Cloudera Manager Server

systemctl restart cloudera-scm-server

安装Cloudera-manager-agent(所有机器)

通过yum安装

# yum -y install cloudera-manager-agent

修改agent配置文件

# vim /etc/cloudera-scm-agent/config.ini
...
server_host=c1.heboan.com #指向c1.heboan.com

启动

systemctl start cloudera-scm-agent

浏览器访问http://c1.heboan.com:7180进行web界面操作

账号密码:admin/admin

CentOS7部署CDH6.0.1大数据平台

接受条款协议

CentOS7部署CDH6.0.1大数据平台

选择免费版

CentOS7部署CDH6.0.1大数据平台

选择集群主机

CentOS7部署CDH6.0.1大数据平台

选择Parcel,点击“更多选项”, 把远程Parcel存储库URL都删除

CentOS7部署CDH6.0.1大数据平台

sha1sum   CDH-6.0.1-1.cdh6.0.1.p0.590678-el7.parcel   #计算出值

然后创建 CDH-6.0.1-1.cdh6.0.1.p0.590678-el7.parcel.sha , 里面的内容为上面计算的值

cd /opt/cloudera/parcel-repo/chown -R cloudera-scm:cloudera-scm ./*

选择CDH6.0.1

CentOS7部署CDH6.0.1大数据平台

执行到这一步,出现异常,老是回滚,进行不下去

CentOS7部署CDH6.0.1大数据平台

查看日志

CentOS7部署CDH6.0.1大数据平台

修改属主

# cd /opt/cloudera/parcel-repo
# chown -R cloudera-scm:cloudera-scm ./*

然后就顺利进行下去了,^_^

CentOS7部署CDH6.0.1大数据平台

检查主机

CentOS7部署CDH6.0.1大数据平台

这里因为我虚拟机配置低,就选择Essentials,当然你在实际工作中更具需求来选择

CentOS7部署CDH6.0.1大数据平台

分配角色到不同的主机,均衡分配即可

CentOS7部署CDH6.0.1大数据平台

测试数据库连接

CentOS7部署CDH6.0.1大数据平台

集群设置,根据实际情况设置,如数据目录位置等等

CentOS7部署CDH6.0.1大数据平台

完成集群设置

CentOS7部署CDH6.0.1大数据平台

是不是很激动

CentOS7部署CDH6.0.1大数据平台

安装完成

CentOS7部署CDH6.0.1大数据平台

解决CDH的web界面使用nginx代理一些静态文件无法加载

vim /opt/cm-5.13./share/cmf/webapp/WEB-INF/spring/mvc-config.xml
....
注释此行
<bean class="com.cloudera.server.web.cmf.csrf.CsrfRefererInterceptor" />

重启cloudera-scm-server