CDH 大数据平台搭建

时间:2020-12-16 08:09:59

一、概述

Cloudera版本(Cloudera’s Distribution Including Apache Hadoop,简称“CDH”),基于Web的用户界面,支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop,简化了大数据平台的安装、使用难度。

二、安装部署

| 序号 | IP地址 | 主机名 |系统版本|
| -------- | -------- | -------- |
| 1 | 172.20.2.222 | cm-server |centos7.3
| 2 | 172.20.2.203 | hadoop-1 |centos7.3
| 3 | 172.20.2.204 | hadoop-2 |centos7.3
| 4 | 172.20.2.205 | hadoop-3 |centos7.3

2.2.1 基础环境部署

a.修改主机名配置hosts

systemctl stop firewalld
hostnamectl set-hostname cm-server #更改个主机名
sed -i 's/SELINUX=enforcing/SELINUX=disable/g' /etc/selinux/config
setenforce 0
cat >>/etc/hosts<<EOF #添加各个节点hosts解析
172.20.2.222 cm-server
172.20.2.203 hadoop-1
172.20.2.204 hadoop-2
172.20.2.205 hadoop-3
EOF

b.配置cm-server免密钥登录其他节点

ssh-keygen -t rsa     #在cm-server生成密钥对
for num in `seq 1 3`;do ssh-copy-id -i /root/.ssh/id_rsa.pub root@hadoop-$num;done

c.在cm-server安装数据库
在cm-server上安装mariadb,用于后期数据存储

yum install mariadb*
systemctl start mariadb
mysql -uroot password "mysqladmin"
登录数据库后我们采用root登录

e.java环境配置
如果系统有安装java环境卸载干净使用oracle的jdk,此处使用jdk-7u80-linux-x64.rpm,在各节点均配置java环境

rpm -ivh jdk-7u80-linux-x64.rpm
cat >/etc/profile.d/java.sh<<EOF
export JAVA_HOME=/usr/java/jdk1.8.0_121
export CLASSPATH=.:\$JAVA_HOME/jre/lib/rt.jar:\$JAVA_HOME/lib/dt.jar:\$JAVA_HOME/lib/tools.jar
export PATH=\$PATH:\$JAVA_HOME/bin
EOF
source /etc/profile.d/java.sh

f.配置各节点服务器需求

sysctl -w vm.swappiness=10
echo "vm.swappiness=10" >>/etc/sysctl.conf
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled

2.2.2 Cloudera Manager安装

a.下载解压相关软件包

mkdir /software && cd /software
wget -c https://archive.cloudera.com/cm5/cm/5/cloudera-manager-centos7-cm5.14.1_x86_64.tar.gz
wget -c http://archive.cloudera.com/cdh5/parcels/5.14.2/CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel
wget -c http://archive.cloudera.com/cdh5/parcels/5.14.2/CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel.sha1 -O CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel.sha
wget -c http://archive.cloudera.com/cdh5/parcels/5.14.2/manifest.json
wget -c https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.46.zip
tar -zxvf cloudera-manager-centos7-cm5.14.1_x86_64.tar.gz -C /opt/ #解压cm包
unzip mysql-connector-java-5.1.46.zip #解压java-mysql连接jar包
cp mysql-connector-java-5.1.46/mysql-connector-java-5.1.46-bin.jar /opt/cm-5.14.1/share/cmf/lib/ #将jar包复制到cm的lib目录下
cp mysql-connector-java-5.1.46/mysql-connector-java-5.1.46-bin.jar

b.创建用户及初始化数据库

useradd --system --home=/opt/cm-5.14.1/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm     #在各个节点均创建用户
vim /opt/cm-5.14.1/etc/cloudera-scm-agent/config.ini将其中的server_host=cm-server #指向cm-server
usage: /opt/cm-5.14.1/share/cmf/schema/scm_prepare_database.sh [options] (postgresql|mysql|oracle) database username [password] #使用选项
/opt/cm-5.14.1/share/cmf/schema/scm_prepare_database.sh mysql cmdb -h"cm-server" -uroot -pmysqladmin --scm-host cm-server scm scm scm

c.将文件将cm-server修改完成的文件分发到其他各节点

for i in `seq 1 3`;do scp -r /opt/cm-5.14.1 hadoop-$i:/opt/;done

d.创建本地源

mv CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel* manifest.json /opt/cloudera/parcel-repo/

e.启动服务
在cm-server启动server和agent服务,在其他节点启动agent服务

/opt/cm-5.14.1/etc/init.d/cloudera-scm-server start
/opt/cm-5.14.1/etc/init.d/cloudera-scm-agent start

2.2.2 Cloudera Manager的web界面配置

服务器均启动后,可以浏览器访问cm-server的7180端口,用户名/密码为admin/admin

 
CDH  大数据平台搭建
image
 
CDH  大数据平台搭建
image

接受协议继续

 
CDH  大数据平台搭建
image

可以选择适用60天

 
CDH  大数据平台搭建
image

提示一些涉及许可证的信息

 
CDH  大数据平台搭建
image

勾选管理的主机继续操作

 
CDH  大数据平台搭建
image

选择CDH-5.14版本

 
CDH  大数据平台搭建
image

parcel安装

 
CDH  大数据平台搭建
image

主机正确性检查

 
CDH  大数据平台搭建
image

群集设置(选择安装的服务)

 
CDH  大数据平台搭建
image

自定义角色分配,选择安装在那个节点上

 
CDH  大数据平台搭建
image

数据库设置
需要提前创建数据库及授权其他节点可以正常连接

 
CDH  大数据平台搭建
image
 
CDH  大数据平台搭建
image

审核更改

 
CDH  大数据平台搭建
image

集群安装

 
CDH  大数据平台搭建
image

完成安装

 
CDH  大数据平台搭建
image
 
CDH  大数据平台搭建
image

后期可添加服务

 
CDH  大数据平台搭建
image
 
CDH  大数据平台搭建
image


小礼物走一走,来简书关注我

作者:kaliarch
链接:https://www.jianshu.com/p/106739236db4
来源:简书
简书著作权归作者所有,任何形式的转载都请联系作者获得授权并注明出处。