Ambari大数据的搭建环境准备

时间:2021-11-28 14:18:14

1.网络设置

如果是虚拟机可以采用默认NAT的方式不用设置网络

下面采用静态IP配置

vi /etc/sysconfig/network-scripts/ifcfg-eth0   #编辑配置文件,添加修改以下内容

BOOTPROTO=static  #启用静态IP地址

ONBOOT=yes #开启自动启用网络连接

IPADDR=192.168.0.54 #设置IP地址

NETMASK=255.255.255.0 #设置子网掩码

GATEWAY=192.168.0.1  #设置网关

DNS1=8.8.8.8#设置主DNS

DNS2=8.8.4.4#设置备DNS

:wq! #保存退出

servicenetwork restart  #重启网络连接

 

2.配置本地yum源(很重要

注意:有些安装包中显示为cdrom ,或者如果没有安装包就需要自己挂载一个安装包

cd/etc/yum.repos.d/   #进入yum配置目录

touch rhel-media.repo   #建立yum配置文件

vi rhel-media.repo   #编辑配置文件,添加以下内容

[rhel-media]

name=RedHat Enterprise Linux 6.6

baseurl=file:///media/RHEL-6.6\ Server.x86_64

enabled=1

gpgcheck=1

gpgkey=file:///media/RHEL-6.6\ Server.x86_64/RPM-GPG-KEY-redhat-release

 

3.使用yum命令自动安装软件

yumclean all   #清除yum缓存

需要什么就安装什么!

4.修改机器名(很重要)

hostname​ master.org.cn 此命令暂时性修改机器名称

vi/etc/sysconfig/network​ 此文件永久性修改,修改完后建议重启,也可在安装前所有步骤做完后重启。

然后将HOSTNAME后面的值改为想要设置的主机名。STNAME=master.org.cn

 

5.修改hosts​文件(很重要)

vi/etc/hosts

这是机器互相能够访问的保证,文件里面分别把每台机器的名字按行写进去,每个名字后面空格缀上那台机器的ip地址​

改完一个hosts文件可以用scp复制给其他机器。(备注如果配置不正确自动安装会一直报错

[root@masterhgfs]# cat /etc/hosts

127.0.0.1   localhost localhost.localdomain localhost4localhost4.localdomain4

::1         localhost localhost.localdomainlocalhost6 localhost6.localdomain6

 

192.168.189.134master.org.cn  master

192.168.189.137slaver1.org.cn  slaver1

192.168.189.138slaver2.org.cn  slaver2

 

6.设置master端对slaver端的无密码登录

通过命令 sudoapt-get install openssh-server 进行安装。(有些系统自动已经安装了可以先查看是否已经安装)

安装完成后,启动服务

       #/etc/init.d/sshstart

       设置免密码登录,生成私钥和公钥

       #ssh-keygen-t rsa -P ""

       此时会在/home/hadoop/.ssh下生成两个文件:id_rsa和id_rsa.pub,前者为私钥,后者为公钥。

       下面我们将公钥追加到authorized_keys中,它用户保存所有允许以当前用户身份登录到ssh客户端用户的公钥内容。

       #cat~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys #将公钥追加到authorized_keys中,该文件保存所有允许以当前用户身份登录到ssh客户端用户的公钥内容

测试是否可以免密码登录localhost:

sshlocalhost  成功login,exit退出!

将master上面生成的id_rsaid_rsa.pubauthorized_keys传人到每个一个slave上面这样所有的电脑都是无密码访问的。

scp/root/.ssh/id_rsa slave01:/root/.ssh

scp/root/.ssh/id_rsa slave02:/root/.ssh

scp/root/.ssh/id_rsa.pub slave01:/root/.ssh

scp/root/.ssh/id_rsa.pub slave02:/root/.ssh

scp/root/.ssh/authorized_keys slave01:/root/.ssh

scp/root/.ssh/iauthorized_keys slave02:/root/.ssh

7.禁止PackageKit​

这个步骤每台都需要做,因为在使用yum安装期间有可能导致yum被锁,安装过程报错。slaver会用到yum安装hadoop及上层组件,而server也要用yum安装ambari。

vi /etc/yum/pluginconf.d/refresh-packagekit.conf 修改其中配置将enabled后面数值置0。

8.​关闭iptables很重要

不仅是server机器需要关闭防火墙,建议集群内每台机器也关闭防火墙,这个亏我就吃大了,在它自动化安装过程中,我以为某些端口被占用导致它们通信出现问题,结果最后证明是防火墙的问题。

serviceiptables stop 此命令本次开机期间关闭防火墙

chkconfigiptables off 关闭iptables随系统启动。​

 

9. 关闭Transparent HugePages (THP) 很重要

# for hadoop , disable thp

echo never > /sys/kernel/mm/redhat_transparent_hugepage/enabled

echo never >/sys/kernel/mm/redhat_transparent_hugepage/defra

 

vi /etc/grub.conf

加入transparent_hugepage=never

需要重启电脑


10. 配置时钟同步(安装中需要)

# chkconfig --list ntpd

# chkconfig ntpd on

# service ntpdstart

Ambari大数据的搭建环境准备

11. 设置安装软件时间

可能是超时,vi /etc/yum.conf,将 installonly_limit的值设成600 ,再次安装。(建议安装之前就设置为600因为在线安装的软件比较多

Ambari大数据的搭建环境准备

12. 第二步注册失败

Ambari大数据的搭建环境准备

解决办法:

更新下openssl
#yum update openssl

确保所有的集群都是最新的ssl

rpm-qa | grep openssl

 

如果还是解决不了的并且是自己安装ambari-agent客户端的话,需要修改每个slavemaster

vi /etc/ambari-agent/conf/ambari-agent.ini

[server]

hostname=master<your.ambari.server.hostname>

url_port=8440

secured_url_port=8441

#ambari-agent start

千万注意<your.ambari.server.hostname>全部填写masterhostname要不然一直检查报错,但是master会显示成功

千万注意<your.ambari.server.hostname>全部填写masterhostname要不然一直检查报错,但是master会显示成功

千万注意<your.ambari.server.hostname>全部填写masterhostname要不然一直检查报错,但是master会显示成功

 Ambari大数据的搭建环境准备