cdh6.2离线安装(傻瓜式安装教程)

时间:2024-03-15 09:42:43

CDH6.2离线安装流程

1 安装准备

1.1 cdh6.2

下载方式一:
官网下载
https://archive.cloudera.com/cm6/6.2.0/redhat7/yum/RPMS/x86_64/
cdh6.2离线安装(傻瓜式安装教程)

都下载下来
https://archive.cloudera.com/cdh6/6.2.0/parcels/
cdh6.2离线安装(傻瓜式安装教程)

只要el7.parcel 和 el7.parcel.sha1
下载式二:
百度网盘
https://pan.baidu.com/s/1QlWyMRSRJNcaStsZMSdmLg

提取码:ietj

1.2 centos7

方式一:
官网下载
http://vault.centos.org/
cdh6.2离线安装(傻瓜式安装教程)

我这边选择的是1804,点进去:
cdh6.2离线安装(傻瓜式安装教程)

选择isos
cdh6.2离线安装(傻瓜式安装教程)

选择x86_64
cdh6.2离线安装(傻瓜式安装教程)

我这边选择的是
CentOS-7-x86_64-DVD-1804.torrent 这只是个BT种子,我是用百度网盘对其解析下载的(迅雷等工具也可以)
方式二:
百度网盘
https://pan.baidu.com/s/1MHwLT0X39O0EpIeDgqDeJw

提取码:v1rj

2 环境准备

2.1 修改 vi /etc/hosts(每个节点)

vi /etc/hosts 修改完后按ESC再输入 :wq! 退出编辑
cdh6.2离线安装(傻瓜式安装教程)
修改完后ping一下主机名 查看是否成功

ping n77.aa-data.cn
cdh6.2离线安装(傻瓜式安装教程)
在所有节点都对其他节点都依次ping下,如果ping不通请检查下 /etc/hosts下的IP或者主机名是否有错,如若还不行请检查下静态IP是否设置有误

2.2 关闭防火墙、禁止防火墙开机自启(每个节点)

ystemctl stop firewalld 关闭防火墙

systemctl disable firewalld 禁止防火墙开机自启
cdh6.2离线安装(傻瓜式安装教程)
vi /etc/selinux/config —> SELINUX=disabled (修改)
cdh6.2离线安装(傻瓜式安装教程)

2.3 ssh无密码登录

manager节点执行ssh-****** -t rsa 一路回车到结束,在/root/.ssh/下面会生成一个公钥文件id_rsa.pub
cdh6.2离线安装(傻瓜式安装教程)
将公钥追加到authorized_keys
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
cdh6.2离线安装(傻瓜式安装教程)
chmod 600 ~/.ssh/authorized_keys 修改权限
将~/.ssh从当前节点分发到其他各个节点。如:
scp -r ~/.ssh/ [email protected]:~/.ssh/

[email protected]:当前需要分发的用户及其主机名
cdh6.2离线安装(傻瓜式安装教程)
密码为系统当前用户的登陆密码
cdh6.2离线安装(傻瓜式安装教程)
各个节点之间相互ssh一遍
cdh6.2离线安装(傻瓜式安装教程)
检验:全都ssh一遍后 再次ssh将不再需要输入其他指令
cdh6.2离线安装(傻瓜式安装教程)

2.4 配置NTP服务(所有节点)

修改时区(改为中国标准时区)ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime(如果在安装centos时指定过了 这一步就不用了)

yum -y install ntp 安装ntp
cdh6.2离线安装(傻瓜式安装教程)
ntp主机配置 vi /etc/ntp.conf

manager节点 如果有时间服务器 请指向时间服务器
cdh6.2离线安装(傻瓜式安装教程)
其余节点
cdh6.2离线安装(傻瓜式安装教程)
重新启动 ntp 服务:service ntpd restart

设置开机自启:systemctl enable ntpd.service
cdh6.2离线安装(傻瓜式安装教程)
ntpdc -c loopinfo #查看与时间同步服务器的时间偏差

ntpq -p #查看当前同步的时间服务器

ntpstat #查看状态

定时同步crontab
crontab -e
10 * * * * /usr/sbin/ntpdate n47.aa-data.cn

2.5 修改Linux swappiness参数(所有节点)

为了避免服务器使用swap功能而影响服务器性能,一般都会把vm.swappiness修改为0(cloudera建议10以下)

echo 0 > /proc/sys/vm/swappiness 临时改变

在最后一行添加如下配置:

echo vm.swappiness=0 >> /etc/sysctl.conf
cdh6.2离线安装(傻瓜式安装教程)
上述方法rhel6有效,rhel7.2中:tuned服务会动态调整系统参数

查找tuned中配置,直接修改配置

cd /usr/lib/tuned/

grep “vm.swappiness” * -R 查询出后依次修改
cdh6.2离线安装(傻瓜式安装教程)

依次 vi 将vm.swappiness 修改为0
vi latency-performance/tuned.conf
vi throughput-performance/tuned.conf
vi virtual-guest/tuned.conf
cdh6.2离线安装(傻瓜式安装教程)

2.6 禁用透明页(所有节点)

echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
注意:先在每个节点执行上两句后 在添加下面命令
永久生效 在/etc/rc.local 添加上面命令
vi /etc/rc.local
cdh6.2离线安装(傻瓜式安装教程)

3 cm6安装

3.1 将下载下来的cm6 cdh 上传到clouder-manager 主节点的/root下(目录随意)

cdh6.2离线安装(傻瓜式安装教程)

3.2 配置本地服务器(选定任意一台主机即可)

yum install -y httpd 安装httpd
cdh6.2离线安装(傻瓜式安装教程)
service httpd start 启用htttpd
cdh6.2离线安装(傻瓜式安装教程)
打开浏览器输入选定主机的ip验证:出现以下界面及配置成功
cdh6.2离线安装(傻瓜式安装教程)
cd /var/www/html/

进入到这个目录下 创建我们的数据源 之后其他节点可以从这直接下载

mkdir cm6 mkdir cdh6
cdh6.2离线安装(傻瓜式安装教程)
将cdh6.2.0中的rmp包放入cm6下

cp /root/cdh6.2.0/cm6/*.rpm /var/www/html/cm6/

将allkeys.asc放入cm6下

cp /root/cdh6.2.0/cm6/allkeys.asc /var/www/html/cm6/

登陆192.168.2.76/cm6 查验
cdh6.2离线安装(傻瓜式安装教程)
将cdh6.2.0下的parcel* 和manifast.json放入cdh6

cp /root/cdh6.2.0/parcels/CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel* /var/www/html/cdh6/

cp /root/cdh6.2.0/parcels/manifest.json /var/www/html/cdh6/

登陆192.168.2.76/cdh6
cdh6.2离线安装(傻瓜式安装教程)
生成源 制定yum源的描述的目录信息 可以让其他节点知道到这里下载

yum install -y createrepo 下载createrepo命令

进入到cm6安装包的httpd资源位置
cd /var/www/html/cm6

创建yum源的描述meta

createrepo .
cdh6.2离线安装(傻瓜式安装教程)
在所有节点上添加yum源的配置文件
cat >> /etc/yum.repos.d/cm6.repo << EOF
[cm6-local]
name=cm6-local
baseurl=http://n47.aa-data.cn/cm6
enabled=1
gpgcheck=0
EOF
cdh6.2离线安装(傻瓜式安装教程)
查看yum配置源是否生效
yum clean all
yum repolist
cdh6.2离线安装(傻瓜式安装教程)

4 clouder server 与agent安装

4.1 安装cm6相关依赖(所有节点)

yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb httpd mod_ssl
cdh6.2离线安装(傻瓜式安装教程)

4.2 安装cloudera-manager 管理节点

安装cloudera-manager-server cloudera-manager-server-db-2 cloudera-manager-daemons cloudera-manager-agent

先安装jdk

yum install -y oracle-j2sdk1.8-1.8.0+update181-1.x86_64 cdh6.2离线安装(傻瓜式安装教程)

在安装cloudera-manager-*

yum install -y cloudera-manager-daemons cloudera-manager-server cloudera-manager-server-db-2 postgresql-server
cdh6.2离线安装(傻瓜式安装教程)

4.3 安装mysql(选一台主机安装即可)

yum install -y mysql mysql-devel
cdh6.2离线安装(傻瓜式安装教程)
yum install -y mariadb mariadb-server
cdh6.2离线安装(傻瓜式安装教程)

service mariadb start 启动数据库服务

chkconfig mariadb on 设置开机自启动
cdh6.2离线安装(傻瓜式安装教程)
初始化mariadb密码
/usr/bin/mysql_secure_installation 一直回车 遇[Y/n]输入y
设置密码
cdh6.2离线安装(傻瓜式安装教程)
cdh6.2离线安装(傻瓜式安装教程)
初始化管理节点数据库

mkdir -p /usr/share/java
mv /root/cdh6.2.0/mysql5.7/mysql-connector-java-5.1.34.jar /usr/share/java/mysql-connector-java.jar(这里需要分发到所有节点)
cdh6.2离线安装(傻瓜式安装教程)
执行数据库初始脚本
/opt/cloudera/cm/schema/scm_prepare_database.sh mysql -h localhost -uroot -proot --scm-host localhost scm scm scm
cdh6.2离线安装(傻瓜式安装教程)

4.4 安装agent

先安装jdk
yum install -y oracle-j2sdk1.8-1.8.0+update181-1.x86_64
cdh6.2离线安装(傻瓜式安装教程)
在安装agent 这里稍微等待会儿
yum install -y cloudera-manager-daemons cloudera-manager-agent
cdh6.2离线安装(傻瓜式安装教程)

修改所有节点上的agent配置,让agent指向cloudera-manager

vi /etc/cloudera-scm-agent/config.ini
cdh6.2离线安装(傻瓜式安装教程)
启动clouder-manager和agent

在clouder-manager节点上启动

service cloudera-scm-server start 启动main服务

chkconfig cloudera-scm-server on 设置开机自启动
cdh6.2离线安装(傻瓜式安装教程)

在所有节点启动agent

service cloudera-scm-agent start 启动agent服务

chkconfig cloudera-scm-agent on 设置开机自启动
cdh6.2离线安装(傻瓜式安装教程)

5 登陆web页面

5.1 添加集群

输入cloudera-manager所在的节点ip货主机名:7180

http://192.168.2.76:7180/

初始账户:admin 密码:admin
cdh6.2离线安装(傻瓜式安装教程)
登陆账号密码,点击登陆
cdh6.2离线安装(傻瓜式安装教程)
点击继续后:
cdh6.2离线安装(傻瓜式安装教程)
点击继续后:
cdh6.2离线安装(傻瓜式安装教程)
之后稍稍等一会儿,这里加载可能会有点慢
cdh6.2离线安装(傻瓜式安装教程)
给集群命名
cdh6.2离线安装(傻瓜式安装教程)
指定主机
cdh6.2离线安装(傻瓜式安装教程)
选择存储库
cdh6.2离线安装(傻瓜式安装教程)
指定我们自己的cdh包裹
cdh6.2离线安装(傻瓜式安装教程)
等待刷新
cdh6.2离线安装(傻瓜式安装教程)
Jdk我们之前自己安装过了所以直接下一步就好
cdh6.2离线安装(傻瓜式安装教程)
提供ssh登陆
cdh6.2离线安装(傻瓜式安装教程)
安装代理
cdh6.2离线安装(傻瓜式安装教程)
等待安装包裹 这里时间稍稍有点长
cdh6.2离线安装(傻瓜式安装教程)
检查集群
cdh6.2离线安装(傻瓜式安装教程)
选择服务(如果你确保自己已知晓如何添加服务,可以选择套餐安装)
cdh6.2离线安装(傻瓜式安装教程)
分配角色
cdh6.2离线安装(傻瓜式安装教程)
数据库设置(之后有需要数据库设置的服务请参考此方法)

登陆mysql
cdh6.2离线安装(傻瓜式安装教程)
创建普通用户

create user datauser identified by ‘datasuer’;
cdh6.2离线安装(傻瓜式安装教程)
给datauser开启metastore访问权限(spark兼容hive)
grant all privileges on metastore.* to ‘datauser’@’%’ identified by ‘datauser’ with grant option;
flush privileges;

创建数据库

create database activity default charset utf8;
cdh6.2离线安装(傻瓜式安装教程)
允许mysql远程登陆

grant all privileges on activity.* To [email protected]’%'identified by ‘datauser’;
cdh6.2离线安装(傻瓜式安装教程)
刷新权限

flush privileges;
cdh6.2离线安装(傻瓜式安装教程)
cdh6.2离线安装(傻瓜式安装教程)
审核更改
cdh6.2离线安装(傻瓜式安装教程)
命令详细
cdh6.2离线安装(傻瓜式安装教程)
安装成功
cdh6.2离线安装(傻瓜式安装教程)
进入到集群管理界面
cdh6.2离线安装(傻瓜式安装教程)

5.2 添加服务

cdh6.2离线安装(傻瓜式安装教程)
cdh6.2离线安装(傻瓜式安装教程)
cdh6.2离线安装(傻瓜式安装教程)
cdh6.2离线安装(傻瓜式安装教程)
cdh6.2离线安装(傻瓜式安装教程)

namenode高可用

cdh6.2离线安装(傻瓜式安装教程)
cdh6.2离线安装(傻瓜式安装教程)
cdh6.2离线安装(傻瓜式安装教程)
cdh6.2离线安装(傻瓜式安装教程)
cdh6.2离线安装(傻瓜式安装教程)
cdh6.2离线安装(傻瓜式安装教程)
cdh6.2离线安装(傻瓜式安装教程)
cdh6.2离线安装(傻瓜式安装教程)
将Hue配置为使用HDFS HA

1添加HttpFS角色。
2命令完成后,转到Hue服务。
3单击配置选项卡。
4找到HDFS Web界面角色属性或通过在搜索框中键入其名称来搜索它。
5选择您刚创建的HttpFS角色而不是NameNode角色,然后保存更改。
6重新启动Hue服务。