CDH大数据平台搭建

各大开源以及商用厂商的大数据产品汇总：

https://zhuanlan.zhihu.com/p/675011462

Ambari 界面：

一、安装一个新的虚拟机

配置要求：8核，10G内存，最好是200G

修改yum源：

修改阿里云的镜像文件：
1、cd /etc/yum.repos.d/ 
2、备份⼀下：cp CentOS-Base.repo CentOS-Base.repo.bak
3、下载阿⾥云镜像到本地：
 curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo
4、清除yum的缓存
   yum clean all
   yum makecache
5、yum install -y ntpdate
   yum install -y vim

映射：

vi /etc/hosts
192.168.233.132 cdh

二、CDH简介

全称Cloudera’s Distribution Including Apache Hadoop。

hadoop的版本 (Apache、CDH、Hotonworks版本)

在公司中一般使用cdh多一些（收费的）、也有公司使用阿里云大数据平台、微软的大数据平台。

国内也有一些平台：星环大数据，一个朋友的公司（优刻得UCloud）

ClouderaManager ：简称 CM (CDH的管理界面) 。Cloudera Manager是用于管理CDH群集的端到端应用程序。

三、CM的安装

1、下载

1. 下载包：
	https://archive.cloudera.com/cdh6/6.2.1/parcels/    --cdh的地址
	https://archive.cloudera.com/cm6/6.2.1/redhat7/yum/RPMS/x86_64/   --CM的地址
	不用下载了，已经下载好了

2、安装依赖包

	yum install -y cyrus-sasl-plain cyrus-sasl-gssapi portmap fuse-libs bind-utils libxslt fuse
	yum install -y /lib/lsb/init-functions createrepo deltarpm python-deltarpm
	yum install -y mod_ssl openssl-devel python-psycopg2 MySQL-python

3、安装httpd(只需要在部署本地yum源的机器上安装即可，不用三台全部安装)

yum install httpd
yum install createrepo

4、一些其他的配置

5. 关闭防火墙
查看防火墙状态： systemctl status firewalld
绿的running表示防火墙开启
执行关闭命令： systemctl stop firewalld
再次执行查看防火墙命令：systemctl status firewalld
执行开机禁用防火墙自启命令  ： systemctl disable firewalld
完成

6. 关闭selinux（在配置文件中第一次设置时需要重启服务器）
setenforce 0

vim /etc/selinux/config
将SELINUX=enforcing
改为SELINUX=disabled

reboot 重启的意思    
init 0 关机   
init 6 重启

5、软件上传

systemctl start httpd  可以通过网址访问一下：http://192.168.233.132,类似于ftp服务器

cd /var/www/html/
mkdir -p cm6/6.2.1/redhat7/yum/RPMS/x86_64/
cd cm6/6.2.1/redhat7/yum/RPMS/x86_64/
上传cm6中的文件到此目录
cd  /var/www/html/cm6/6.2.1/
上传allkeys.asc文件到/var/www/html/cm6/6.2.1/目录下

cd /var/www/html/
mkdir -p cdh6/6.2.1/parcels/
上传cdh6中的文件到此目录

访问测试：http://192.168.233.132/cm6/6.2.1/redhat7/yum/RPMS/x86_64/

6、生成repodata目录

cd /var/www/html/cm6/6.2.1/redhat7/yum
createrepo .

7、配置本地yum源

cd /etc/yum.repos.d/
vim cloudera-manager.repo
填写，请修改为自己的IP
[cloudera-manager]
name=Cloudera Manager
baseurl=http://192.168.233.132/cm6/6.2.1/redhat7/yum/
gpgcheck=0
enabled=1

执行命令：
yum clean all
yum list | grep cloudera    --这个步骤稍微慢一些，等待即可

效果如下：
[root@cdh yum.repos.d]# yum list | grep cloudera
cloudera-manager-agent.x86_64               6.2.1-1426065.el7          cloudera-manager
cloudera-manager-daemons.x86_64             6.2.1-1426065.el7          cloudera-manager
cloudera-manager-server.x86_64              6.2.1-1426065.el7          cloudera-manager
cloudera-manager-server-db-2.x86_64         6.2.1-1426065.el7          cloudera-manager
enterprise-debuginfo.x86_64                 6.2.1-1426065.el7          cloudera-manager
oracle-j2sdk1.8.x86_64                      1.8.0+update181-1          cloudera-manager

8、创建一个linux新用户

创建cloudera-scm用户（centos7要求必须有，centos6没有要求）
useradd cloudera-scm
passwd cloudera-scm

test123456
--免密钥登录
echo "cloudera-scm ALL=(root)NOPASSWD:ALL" >> /etc/sudoers
切换新用户试一下：
su - cloudera-scm
试玩之后，再回来
exit

9、安装mysql

先删除linux中已经存在的mysql的相关内容：




第一步：下载repo，并安装mysql-server
先安装wget  yum install -y wget 
进入 /opt 目录
下载安装引导包：
wget -i -c http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpm
yum -y install mysql57-community-release-el7-10.noarch.rpm
yum -y install mysql-community-server


假如报如下错误：
失败的软件包是：mysql-community-common-5.7.43-1.el7.x86_64
 GPG  密钥配置为：file:///etc/pki/rpm-gpg/RPM-GPG-KEY-mysql

报错使用这个语句：
rpm --import https://repo.mysql.com/RPM-GPG-KEY-mysql-2022
这个步骤需要网络，并根据网速会花些时间，安装完成后会覆盖之前的mariadb。
如果提示-bash: wget: 未找到命令，则：yum -y install wget
修复完错误之后继续安装mysql:
yum -y install mysql-community-server

假如还出问题，使用如下命令：
 sudo yum install mysql-server --nogpgcheck


第二步：mysql设置
启动：
systemctl start mysqld
查看运行情况：
systemctl status mysqld

第三步：登录mysql
查看mysql密码
grep "password" /var/log/mysqld.log
登录mysql
mysql -uroot -p  敲回车，粘贴密码

第四步：修改密码
取消mysql密码规范限制
set global validate_password_policy=0;
set global validate_password_length=1;
重设密码
alter user 'root'@'localhost' identified by '123456';
flush privileges;

第五步：卸载repo包
此时还有一个问题，因为安装了yum repository，以后每次yum都会自动更新，耗费时间，所以卸载掉：
yum -y remove mysql57-community-release-el7-10.noarch


第六步：安装mysql（后续作为元数据库）
create database scm DEFAULT CHARACTER SET utf8;
grant all PRIVILEGES on *.* TO 'root'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION;
grant all PRIVILEGES on *.* TO 'root'@'localhost' IDENTIFIED BY '123456' WITH GRANT OPTION;
flush privileges;

10、安装server服务

yum install -y oracle-j2sdk1.8-1.8.0+update181-1.x86_64
yum install -y enterprise-debuginfo-6.2.1-1426065.el7.x86_64
--最核心的语句：安装cm-server服务
yum install -y cloudera-manager-server-6.2.1-1426065.el7.x86_64
yum install -y cloudera-manager-server-db-2-6.2.1-1426065.el7.x86_64

注意事项：如果没有在httpd服务下面添加新的软件，以下步骤不需要管。

注意：如果在yum源中添加了新的包时：

1.需要删除之前的repodata文件后，重新生成；

2.重启httpd服务

3.清除yum缓存 yum clean all

11、设置CM这个软件的元数据为mysql

设置元数据库为mysql--前提是安装ClouderaManager Server服务
/opt/cloudera/cm/schema/scm_prepare_database.sh -h localhost mysql scm root 123456
旧版本：/usr/share/cmf/schema/scm_prepare_database.sh -h localhost mysql scm root 123456

假如报以下错误：拷贝驱动包
[                          main] DbCommandExecutor              INFO  Unable to find JDBC driver for database type: MySQL
[                          main] DbCommandExecutor              ERROR JDBC Driver com.mysql.jdbc.Driver not found.
[                          main] DbCommandExecutor              ERROR Exiting with exit code 3
--> Error 3, giving up (use --force if you wish to ignore the error)

提示ERROR JDBC Driver com.mysql.jdbc.Driver not found.
需要上传mysql驱动包jar到/opt/cloudera/cm/lib目录下。
cd /opt/cloudera/cm/lib
先拷贝5.7的驱动，试试,假如错误变为如下：
The last packet successfully received from the server was 473 milliseconds ago.  The last packet sent successfully to the server was 460 milliseconds ago.

请将mysql5.1的驱动包删除，然后换为8.0的驱动。
rm -rf mysql-connector-java-5.1.40.jar
此时有一个大坑，复制驱动包的时候，拷贝一个mysql8.0的才可以。
记得继续执行那句话：
/opt/cloudera/cm/schema/scm_prepare_database.sh -h localhost mysql scm root 123456
看到如下语句就说明：你的mysql中已经有cm这个系统的数据了。
All done, your SCM database is configured correctly!

查看：cat /etc/cloudera-scm-server/db.properties

12、启动cm服务

启动server服务进程（查看7180端口）
systemctl start cloudera-scm-server
查看启动日志：
tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log
查看启动状态：
systemctl status cloudera-scm-server
查看端口
netstat -an | grep 7180

当你的日志不再打印的时候，就启动成功了，启动时间大约2分钟。

或者当你能够查看到7180端口被占用的时候，也就说明成功了。

13、登录

访问地址：http://192.168.233.200:7180/cmf/login

账号和密码：admin admin 登录即可

至此，CM安装完毕，CDH还没有安装呢。

14、设置刷新频率

点击上面的图片的Logo,或者直接输入网址：http://192.168.233.200:7180/cmf/home，进入这个界面

四、安装CDH

1、配置本地parcel包

注意：必须要在数据库初始化后，将parcel文件放置到/opt/cloudera/parcel-repo目录中
如何放置？
   mv /var/www/html/cdh6/6.2.1/parcels/* /opt/cloudera/parcel-repo 
重命名密钥文件名
cd /opt/cloudera/parcel-repo/
mv CDH-6.2.1-1.cdh6.2.1.p0.1425774-el7.parcel.sha1 CDH-6.2.1-1.cdh6.2.1.p0.1425774-el7.parcel.sha

2、swappiness和透明化

临时生效：
sysctl -w vm.swappiness=10
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
永久生效：
echo "vm.swappiness=10" >> /etc/sysctl.conf
echo "echo never > /sys/kernel/mm/transparent_hugepage/defrag" >> /etc/rc.local
echo "echo never > /sys/kernel/mm/transparent_hugepage/enabled" >> /etc/rc.local

3、创建一些目录，添加分组

mkdir -p /var/lib/cloudera-host-monitor
mkdir -p /var/lib/cloudera-service-monitor

chown -R cloudera-scm:cloudera-scm /var/lib/cloudera-host-monitor
chown -R cloudera-scm:cloudera-scm /var/lib/cloudera-service-monitor/

4、创建集群

给集群起个名字：

jdk不需要安装，因为我们装过了。

在哪里呢？查询一下
find / -name java
发现jdk的安装路径为：/usr/java/jdk1.8.0_181-cloudera/

配置一下java home
vi /etc/profile
export JAVA_HOME=/usr/java/jdk1.8.0_181-cloudera/
export PATH=$PATH:$JAVA_HOME/bin

保存之后刷新环境变量：
source /etc/profile

设置密码：

安装：

选择套餐：

后面的一直默认即可，直到开始安装hdfs。

点击完成，可以看到主界面了。

测试一下hdfs是否正常使用：

http://192.168.233.200:9870/

5、安装与使用hdfs

又想安装：

想安装什么服务，就选择什么服务，安装过程稍微慢一些。

假如想使用hdfs，访问 9870页面，想创建一个文件夹，发现没有权限：

如果按照以前的习惯，修改配置文件，配置相应的代码即可，使用CDH之后，所有的配置，都变成了在页面上修改。

以前修改的hdfs-site.xml ,变为在页面中修改。

修改的配置，需要重启才能生效。

重启完之后再次使用hdfs，测试是否还有权限问题。

如果你不习惯在页面修改配置文件，可以搜索，一般都在/opt/cloudera/parcels/CDH-6.2.1-1.cdh6.2.1.p0.1425774 下。

页面中可以查看hdfs集群的运行情况，也看到了集群的健康状况。

点击后面的 Suppress（抑制）。

假如你安装过程中出现了datanode启动不起来，检查网络IP是否正确。将dhcp 修改为 static

重启网卡：systemctl restart network

接着：停止hdfs服务，删除 /dfs 目录下的三个文件。

卸载hdfs服务，重新添加hdfs 服务，这个时候会重新进行namenode 格式化。

6、安装yarn

添加服务--> 选择 yarn-- > 自动安装即可

如何使用yarn,跑一个任务
在home 下  创建一个wc.txt
里面随便输入一些需要统计的词
bigdata hadoop
bigdata hello hadoop

将这个任务，上传至hdfs
首先创建一个文件夹  hdfs dfs -mkdir -p /home/input
上传文件至： hdfs dfs -put /home/wc.txt /home/input

使用hadoop自带的jar包，运行任务
yarn jar /opt/cloudera/parcels/CDH/jars/hadoop-mapreduce-examples-3.0.0-cdh6.2.1.jar wordcount /home/input/* /home/output

在界面中，还可以访问到：http://192.168.233.200:8088/cluster

7、安装zookeeper

通过命令进入zk查看是否可用。

find / -name zkCli.sh
/opt/cloudera/parcels/CDH-6.2.1-1.cdh6.2.1.p0.1425774/lib/zookeeper/bin/zkCli.sh -server cdh:2181

8、hive

要想创建hive，hive需要mysql充当元数据的表服务。

mysql -uroot -p
create database hive;

安装hive服务，需要用到mysql

通过以上可以看出缺少jar包

cp /opt/cloudera/cm/lib/mysql-connector-java-8.0.26.jar /opt/cloudera/parcels/CDH/lib/hive/lib/

拷贝完成之后，记得点击 resume 一下。

测试hive的用法：

直接在黑窗口中hive 一下。
进入，编写一些简单的sql语句，比如 show databases;
select from_unixtime(1583781807, 'yyyy-MM-dd');

注意：此时的metastore 以及hiveserver2 都已经启动了，但是使用datagrip 连接的时候缺少一个包。

9、kafka

略

10、sqoop

略

mysql -uroot -p
create database test1;
create table t_user
(
	id bigint auto_increment,
	name varchar(127) not null,
	age bigint null,
	class varchar(255) null,
	primary key (id)
);


vim text.txt

leo|12|class1
leo1|13|class2
leo2|14|class3
leo3|15|class4
leo4|16|class5
leo5|17|class6



cp /opt/cloudera/cm/lib/mysql-connector-java-5.1.40.jar /opt/cloudera/parcels/CDH/lib/sqoop/lib/

sqoop export \
--connect jdbc:mysql://cdh:3306/test1 \
--username root \
--password 123456 \
--table t_user \
--columns 'name,age,class' \
--export-dir /data \
--input-fields-terminated-by '|' \
--num-mappers 1

11、flume

略

12、Hue

Hue 其实是一个提供了图形化界面集成的工具，比如可以把hive、Yarn、hdfs、mysql。

Hue -- 将各种软件的使用集成在了一起。可以在这个界面上使用hive、mysql、hdfs等。重在软件的使用。

CM -- 重在各种软件的安装、配置、启动等。

mysql -uroot -p
create database hue default character set utf8 collate utf8_general_ci;


提示：java.lang.ClassNotFoundException: com.mysql.jdbc.Driver
cp /opt/cloudera/cm/lib/mysql-connector-java-5.1.40.jar /opt/cloudera/parcels/CDH/lib/oozie/lib/

安装成功后，进入一个界面：http://192.168.233.200:8888/

默认集成了 hive、hdfs、yarn

还可以集成ozzie、mysql等服务，一个界面可以展示很多的服务。

Hue目前已经变为一个单独的项目，不需要在cdh中。启发：在公司中一般都会有一个大数据平台，在一个平台上可以操作多个任务。

秒客网

CDH大数据平台搭建

一、安装一个新的虚拟机

二、CDH简介

三、CM的安装

1、下载

2、安装依赖包

3、安装httpd(只需要在部署本地yum源的机器上安装即可，不用三台全部安装)

4、一些其他的配置

5、软件上传

6、生成repodata目录

7、配置本地yum源

8、创建一个linux新用户

9、安装mysql

10、安装server服务

11、设置CM这个软件的元数据为mysql

12、启动cm服务

13、登录

14、设置刷新频率

四、安装CDH

1、配置本地parcel包

2、swappiness和透明化

3、创建一些目录，添加分组

4、创建集群

5、安装与使用hdfs

6、安装yarn

7、安装zookeeper

8、hive

9、kafka

10、sqoop

11、flume

12、Hue

相关文章

CDH大数据平台搭建

一、安装一个新的虚拟机

二、CDH简介

三、CM的安装

1、下载

2、安装依赖包

3、 安装httpd(只需要在部署本地yum源的机器上安装即可，不用三台全部安装)

4、一些其他的配置

5、软件上传

6、生成repodata目录

7、配置本地yum源

8、创建一个linux新用户

9、安装mysql

10、安装server服务

11、设置CM这个软件的元数据为mysql

12、启动cm服务

13、登录

14、设置刷新频率

四、安装CDH

1、配置本地parcel包

2、swappiness和透明化

3、创建一些目录，添加分组

4、创建集群

5、安装与使用hdfs

6、安装yarn

7、安装zookeeper

8、hive

9、kafka

10、sqoop

11、flume

12、Hue

相关文章

3、安装httpd(只需要在部署本地yum源的机器上安装即可，不用三台全部安装)