环境:centos7与centos6一样只是centos6与7有一些命令不一样,在centos6上安装请注意更换命令
刚安装完的centos7,所以我这上面缺少一些功能,后续会在使用中下载
先下载文件,很大
提前下载
http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.6.2.2/ambari-2.6.2.2-centos7.tar.gz
http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.5.0/HDP-2.6.5.0-centos7-rpm.tar.gz
http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.6.2.2/ambari.repo
http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.5.0/hdp.repo
http://public-repo-1.hortonworks.com/HDP-GPL/centos7/2.x/updates/2.6.5.0/hdp.gpl.repo
**
因为是从安装文档上复制下来的,使用命令的时候请注意空格与-和–等等
**
1. 配置静态IP、DNS
如果ifconfig不能使用
修改 /etc/sysconfig/network-scripts/ifcfg-en33
onboot=no
网卡重启：systemctl restart network
这样就可以上网了
下载ifconfig
yum -y install net-tools vim
ifconfig就能使用了
配置静态IP、DNS
提示:使用ifconfig查看ip,使用软件连接机器更好配置,复制粘贴,但是要注意不要全部粘贴,根据自己情况,该修改的修改,否则你会很痛苦
[[email protected] ~]# cd /etc/sysconfig/network-scripts
[[email protected] network-scripts]# vim ifcfg-enp0s31f （显卡名字不一样“ls”查看下再编辑）
修改网卡:
DEVICE=enp3s0
TYPE=Ethernet
ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=none #设置静态ip
IPADDR=192.168.31.200 #设置ip
PREFIX=24 #设置子网掩码
GATEWAY=192.168.31.1 #设置网管
DNS1=8.8.8.8 #设置dns
DNS2=114.114.114.114 #设置备用dns
UUID=084efae1-d3a9-45f5-bd0d-f2127d07bef8 #物理地址
DEFROUTE=yes
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
NAME=enp3s0
配置完静态IP后重启网络服务
systemctl restart network.service
ping www.baidu.com验证是否可以访问外网，能ping通百度说明配置完成。
修改/etc/sysconfig/network（所有机器）
[[email protected] ~]# vi /etc/sysconfig/network
#Created by anaconda
NETWORKING=yes
2 配置hostname
2.1 配置hostname
vi /etc/hostname
ambari-1
注意:要更改序号ambari-2
2.2 配置hosts文件
[[email protected] ~]# vi /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.9.63 ambari-3
192.168.9.61 ambari-1
192.168.9.62 ambari-2
hostname和hosts改完之后，统一把所有机器重启一遍！让配置生效！
3. 关闭防火墙与SElinux
3.1 关闭防火墙
systemctl stop firewalld.service
systemctl disable firewalld.service
查看状态
firewall-cmd --state
3.2. 关闭Selinux
vi /etc/sysconfig/selinux
将SELINUX=enforcing改为SELINUX=disabled，执行该命令后重启机器生效
4. SSH无密码登陆(也可以去找下其他的免密方法)
在Ambari Server节点执行如下命令：
先在所有节点执行以下命令
ssh-****** -t rsa （回车后再按连续三个回车）
在ambari-1进行
cd .ssh/
cat id_rsa.pub >> authorized_keys
然后将authorized_keys拷贝到其他6台机器的.ssh目录，如下：
scp authorized_keys ambari-2:/root/.ssh/
在ambari-2节点执行
cd .ssh/
cat id_rsa.pub >> authorized_keys
scp authorized_keys ambari-3:/root/.ssh/
在ambari-3节点执行
cd .ssh/
cat id_rsa.pub >> authorized_keys
scp authorized_keys ambari-4:/root/.ssh/
在ambari-4节点执行
cd .ssh/
cat id_rsa.pub >> authorized_keys
scp authorized_keys ambari-5:/root/.ssh/
在ambari-5节点执行
cd .ssh/
cat id_rsa.pub >> authorized_keys
scp authorized_keys ambari-6:/root/.ssh/
……….
以此类推到最后一个
将最后一个的authorized_keys发送给其他节点
想做全部免密就在其他几台重复上步操作
验证:
ssh ambari-1 date; ssh ambari-2 date; ssh ambari-3 date;ssh ambari-4 date;ssh ambari-5 date;ssh ambari-6 date; ssh ambari-7 date; ssh ambari-8;date; ssh ambari-9 date;
**
5.修改YUM源
**
下载wget:
yum -y install wget
改用阿里云镜像站点
- 备份本地yum源
mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo_bak
2.获取阿里yum源配置文件
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
yum makecache
ps：这个可以自己找一些其他的YUM源ps：这个可以自己找一些其他的YUM源
**
6.JDK1.8
**
注意:即使是jdk1.8,版本太低了也不能使用,都是血泪,要用高版本的jdk1.8
6台机器创建文件夹
mkdir -p /opt/java/
将安装包传到一台机器的/opt/java/下
cd /opt/java
将安装包分发到其他机器 (用下面语句必须进入/opt/java)
for a in 2 3 4 5 6; do scp -r jdk-8u212-linux-x64.tar.gz [email protected]${a}:pwd; done
解压
tar -vxf jdk-8u212-linux-x64.tar.gz
修改环境环境变量
vim /etc/profile
最先面添加下面内容(jdk1.8.0_212替换为为你自己解压的java文件夹)
export JAVA_HOME=/opt/java/jdk1.8.0_73
export CLASSPATH=.:JAVA_HOME/lib/tools.jar
PATH=HOME/bin:$JAVA_HOME/bin
source /etc/profile #这样环境变量能马上生效
验证:
java -version
查看/usr/bin下面有没有java ,javac 没有就链接过去
ln -s $JAVA_HOME/bin/java /usr/bin/java
ln -s $JAVA_HOME/bin/javac /usr/bin/javac
**
7.NTP时间同步
**
以ambari-1为ntp校准服务器:
下载ntp
yum -y install ntp
依次输入以下命令
systemctl is-enabled ntpd
systemctl enable ntpd
systemctl start ntpd
[[email protected] ~]# vi /etc/ntp.conf
restrict 127.0.0.1
restrict ::1
#Hosts on local network are less restricted.
#restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap
restrict 192.168.10.0 mask 255.255.240.0 nomodify notrap //允许的网络字段连接ip限制
server 127.127.1.0 //以本机时间为准
fudge 127.127.1.0 stratum 10
#server 0.centos.pool.ntp.org iburst //全部注释掉
#server 3.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
其他节点ambari-2, ambari-3, ambari-4…….配置如下
[[email protected] ~]# vim /etc/ntp.conf
server ambari-1 //指定ntp 服务器,为ambari-1
#server 0.centos.pool.ntp.org iburst //全部注释掉
#server 1.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
在所有节点启动ntp服务；
systemctl start ntpd.service
检查是否成功用“ntpstat”命令查看同步状态，出现以下状态代表启动成功
[[email protected] ~]# ntpstat
synchronised to NTP server (192.168.9.1) at stratum 3
time correct to within 47 ms
polling server every 1024 s
ps：请求服务器前，请先使用ntpdate手动同步一下时间：ntpdate -umaster (主节点ntp服务器)这里可能出现同步失败的情况，请不要着急，一般是本地的ntp服务器还没有正常启动，一般需要等待5-10分钟才可以正常同步。启动服务：
systemctl start ntpd.service
**
6.安装HTTP服务器（后期要用的）
**
这个操作比较简单，主要作用在为后期安装ambari制作本地源时候用的。
安装：yum install httpd -y
启动：systemctl start httpd.service
开机启动:systemctl enable httpd.service
修改网站默认的根目录（一般都是默认var/www/html 所以不用改）
**
7.安装mysql
**
我们先把下载的mysql-5.7.21-1.el7.x86_64.rpm-bundle.tar 上传到我们的centos系统中，最好传到/opt 文件夹中
然后我们建立一个新的，用于盛放tar文件释放后文件的文件夹：
cd /opt
for a in 8 9 ; do scp -r mysql-5.7.21-1.el7.x86_64.rpm-bundle.tar [email protected]${a}:pwd; done
mkdir mysql
然后运行解压命令：
tar -xf mysql-5.7.21-1.el7.x86_64.rpm-bundle.tar -C mysql
cd mysql
由于CentOs7之后会在系统中自带一个免费的数据库：mariadb，并且它的驱动和mysql的驱动是有冲突的，所以我们必须先要卸载他。（ps.mariadb和mysql是同一个作者创作的数据库，由于权益等其他问题才分开的，所以有兴趣的同志可以研究一下。）
首先用rpm命令查看一下是否有mariadb，然后再删除：
rpm -qa | grep -i mariadb
可能会出现这种情况：
[[email protected] ~]# rpm -qa | grep -i mariadb
mariadb-libs-5.5.60-1.el7_5.x86_64
然后我们用rpm命令删除这个版本的mariadb：
rpm -e --nodeps mariadb-libs-5.5.60-1.el7_5.x86_64
这个名字在不同版本的系统上可能不一样，需要注意。
由于mysql的server端需要perl语言的支持，因此我们还需要在系统中安装perl支持：
yum install perl -y
由于我们上面解压出来的几个rpm包有依赖关系，所以我们需要按照顺序执行安装：
rpm -ivh mysql-community-common-5.7.21-1.el7.x86_64.rpm
rpm -ivh mysql-community-libs-5.7.21-1.el7.x86_64.rpm
rpm -ivh mysql-community-client-5.7.21-1.el7.x86_64.rpm
rpm -ivh mysql-community-server-5.7.21-1.el7.x86_64.rpm
这几个包的安装完成之后，我们的数据库也就安装完成了，有几个需要注意的地方：
数据库目录：/var/lib/mysql/
命令配置：/usr/share/mysql (mysql.server命令及配置文件)
相关命令：/usr/bin (mysqladmin mysqldump等命令)
启动脚本：/etc/rc.d/init.d/ (启动脚本文件mysql的目录)
系统配置：/etc/my.conf
安装完成了，我们需要先把mysql运行起来，这样我们才能进行接下来的配置。
ps.强烈建议在root用户环境下进行初始化配置，方便用户和密码的创建。
现在我们可以先看一下 /var/lib/mysql/ 目录下是否有东西，我们可以发现这个目录下是没有东西的，或者是连mysql这个目录都没有，也就是说数据库还没有初始化。
注意：
这里我跳过了初始化root用户，或者是mysql用户的步骤，因为网上看在5.7.12上可以成功的步骤在5.7.23上却会在启动步骤报错，原因未知。
现在我们来配置mysql的启动，个人比较推荐使用服务的方式启动（centos7特有）：
systemctl start mysqld.service
这样就把mysqld这个服务添加到系统中了
我们在启动了mysql之后，这个时候等待一段时间，数据库需要进行初始化，这个时候我们可以看一下数据库的日志，会发现mysql帮我们初始化了一个root用户：
cat /var/log/mysqld.log
mysql -u root -p
password 输入自己获得的密码(图片中localhost:后边的位置)
注意:复制密码的时候更不要复制空格
修改密码：
set password = password(‘qzwl23456’);
注:可能会报下面错误
mysql> set password = password(‘qzwl123456’);
ERROR 1819 (HY000): Your password does not satisfy the current policy requirements
那就输入以命令
mysql> set global validate_password_policy=0;
Query OK, 0 rows affected (0.00 sec)
这样就可以了,密码设置123456不行,就加了几位
设置外部远程访问权限：注:123456是你的密码,别照抄
by后面仔细查看,不要多空格,远程会登录不上的
mysql> grant all privileges on . to ‘root’ @’%’ identified by ‘qzwl123456’;
mysql> flush privileges;
设置开机启动
systemctl enable mysqld.service
**
安装mysql jdbc
**
自己直接下载个jar包也可以，这样来回移动着方便
mkdir /usr/share/java
直接下载的mysql-connector-java-5.1.40.jar包，放在/usr/share/java 下面
**
8搭建数据库
**
不想安装mysql也可以选择MariaDB数据库，基本和mysql差不多。
安装完成后创建ambari数据库及用户，登录root用户执行下面语句：
USER 后是用户名IDENTIFIED BY后面是用户登录密码可自己修改
登陆mysql 然后创建如下数据库（）
create database ambari character set utf8 ;
CREATE USER 'ambari'@'%'IDENTIFIED BY 'Ambari-123';
GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'%';
FLUSH PRIVILEGES;
如果要安装Hive，再创建Hive数据库和用户 再执行下面的语句：
create database hive character set utf8 ;
CREATE USER 'hive'@'%'IDENTIFIED BY 'Hive-123';
GRANT ALL PRIVILEGES ON *.* TO 'hive'@'%';
FLUSH PRIVILEGES;
如果要安装Oozie，再创建Oozie数据库和用户 再执行下面的语句：
create database oozie character set utf8 ;
CREATE USER 'oozie'@'%'IDENTIFIED BY 'Oozie-123';
GRANT ALL PRIVILEGES ON *.* TO 'oozie'@'%';
FLUSH PRIVILEGES;
如果要安装hue，再创建hue数据库和用户 再执行下面的语句：
create database hue character set utf8 ;
CREATE USER 'hue'@'%'IDENTIFIED BY 'Hue-1234';
GRANT ALL PRIVILEGES ON *.* TO 'hue'@'%';
FLUSH PRIVILEGES;
**
9制作本地源 (在ambari-1部署)
**
（1）下载 Ambari HDP、HDP-UTILS、 HDP-GPL源包（文件很大，需要很长下载时间，请耐心等待。。。）建议直接通过迅雷下载好再上传到服务器。(上边已经开始下载了)
http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.6.2.2/ambari-2.6.2.2-centos7.tar.gz
http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.5.0/HDP-2.6.5.0-centos7-rpm.tar.gz
http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.6.2.2/ambari.repo
http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.5.0/hdp.repo
http://public-repo-1.hortonworks.com/HDP-GPL/centos7/2.x/updates/2.6.5.0/hdp.gpl.repo
（2）安装本地源相关工具
将下载好的源上传到 的 /var/www/html 目录下，因为文件比较多，我自己在html下新建了一个ambari文件夹，把四个文件放在ambari下面，结构如下：
还记得我们之前安装的HTTP服务器了么，这时候在浏览器输入：http://192.168.31.200/ambari/ ，便可以看见刚刚我们上传的文件
接下来，我们安装制作本地源工具
yum install yum-utils createrepo yum-plugin-priorities -y
createrepo ./
3）配置ambari、HDP、HDP-UTILS的本地源
首先下载上面资源列表中的相应repo文件（地址在上面），修改其中的URL为本地的地址，相关配置如下：
cd /etc/yum.repos.d/ 将我们下载的.repo文件放到这下面
其中 baseurl路径与gpgkey需要根据自己的实际解压路径来，否则makecache不能成功
baseurl最后端都要加/,否则后面会报错
vi ambari.repo
#VERSION_NUMBER=2.6.2.2-1
[ambari-2.6.2.2]
name=ambari-2.6.2.2-1
baseurl=http://192.168.31.200/ambari/ambari/centos7/2.6.2.2-1/
gpgcheck=1
gpgkey=http://192.168.31.200/ambari/ambari/centos7/2.6.2.2-1/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1
保存并退出
vi hdp.repo
#VERSION_NUMBER=2.6.5.0-292
[HDP-2.6.5.0]
name=HDP-2.6.5.0
baseurl=http://192.168.31.200/ambari/HDP/centos7/2.6.5.0-292/
gpgcheck=1
gpgkey=http://192.168.31.200/ambari/HDP/centos7/2.6.5.0-292/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1
[HDP-UTILS-1.1.0.22]
name=HDP-UTILS Version - HDP-UTILS-1.1.0.22/
baseurl=http://192.168.31.200/ambari/HDP-UTILS/centos7/1.1.0.22
gpgcheck=1
gpgkey=http://192.168.31.200/ambari/HDP-UTILS/centos7/1.1.0.22/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1
保存并退出
vim hdp.gpl.repo
#VERSION_NUMBER=2.6.5.0-292
[HDP-GPL-2.6.5.0]
name=HDP-GPL Version - HDP-GPL-2.6.5.0
baseurl=http://192.168.31.200/ambari/HDP-GPL/centos7/2.6.5.0-292/
gpgcheck=1
gpgkey=http://192.168.31.200/ambari/HDP-GPL/centos7/2.6.5.0-292/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1
保存并退出
将这三个文件发送到其他节点,否则以后会报错
紧接着制作源：
yum clean all
yum makecache
yum repolist
**
10安装Ambari (ambari-1)
**
安装Ambari
yum install ambari-server -y
配置Ambari
ambari-server setup
下面是配置执行流程，按照提示操作
（1） 提示是否自定义设置。输入：y
（2）ambari-server 账号。输入：ambari
（3）设置JDK。输入：3
（4）如果上面选择3自定义JDK,则需要设置JAVA_HOME。输入：/opt/java/jdk1.8.0_73 （看自己安装的位置）
（5）数据库配置。选择：y
（6）选择数据库类型。输入：3
如果报错：
WARN [com.mchange.v2.async.ThreadPoolAsynchronousRunner$PoolThread-#0] StatementUtils:48 - Statement close FAILED.
com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near ‘OPTION SQL_SELECT_LIMIT=DEFAULT‘ at line 1
原因：Ambari默认的 mysql jdbc 驱动不支持 5.6以上版本
解决方法：设置mysql jdbc驱动
ps：这时候可能会提示你需要你设置下mysql的一个jar包。 还记得我们之前在 /usr/share/java的那个java包么？
另起一个窗口，输入：
ln -s mysql-connector-java-5.1.40-bin.jar mysql-connector-java.jar #如果jar包名字已经是mysql-connector-java.jar 可省略此步
ambari-server setup --jdbc-db=mysql --jdbc-driver=/usr/share/java/mysql-connector-java.jar
（7）设置数据库的具体配置信息，根据实际情况输入，如果和括号内相同，则可以直接回车。Ambari-123
（8）将Ambari数据库脚本导入到数据库
如果使用自己定义的数据库，必须在启动Ambari服务之前导入Ambari的sql脚本
另开一个窗口：
用Ambari用户（上面设置的用户）登录mysql
mysql -u ambari -p
use ambari
source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql
（9）启动Amabri
ambari-server start
可能会报错
还记得我们之前在 /usr/share/java的那个java包么？
cd /usr/share/java
mv mysql-connector-java-5.1.40.jar /usr/share/java/mysql-connector-java.jar
cp /usr/share/java/mysql-connector-java.jar /var/lib/ambari-server/resources/mysql-jdbc-driver.jar
vi /etc/ambari-server/conf/ambari.properties
添加server.jdbc.driver.path=/usr/share/java/mysql-connector-java.jar
再次启动
ambari-server start
成功启动后在浏览器输入Ambari地址：http://192.168.9.61:8080
**
11、使用Ambari界面安装Hadoop、Hbase、Log Search服务
**
1.出现登录界面，默认管理员账户登录， 账户：admin 密码：admin
2.登录成功后出现下面的界面，至此Ambari的安装成功
3、安装安装HDP 2.5.3 配置集群（点击上面登录成功页面的Launch Install Wizard 按钮进行集群配置）
设置集群名称
4、置HDP安装源（选择HDP2.5 ,并且设置Advanced Repository Options 的信息，本次使用本地源，所以修改对用系统的安装源为本地源地址）
5、设置集群机器（下载ambari01.hadoop机器上的id_rsa私钥到本地）主节点钥匙
点击register后报错
vi /var/log/ambari-agent/ ambari-agent.log
是python版本过高引起的ssl错误,降低python版本
解决方法：1.将机器自带的python版本降低于2.7.5
2.使用如下命令，在ambari-agent.ini的security底下添加和在.cfg的https底下添加（针对所有节点）
vi /etc/ambari-agent/conf/ambari-agent.ini
[security]
force_https_protocol=PROTOCOL_TLSv1_2
vi /etc/python/cert-verification.cfg
[https]
verify=disable
问题解决
6、Host确认（确认前面配置集群中hosts列表 中的机器是否都可用，也可以移除相关机器，集群中机器Success后进行下一步操作）
如果这里出了问题，请检查上面所有的步骤有没有遗漏和未设置的参数。同时在重新修改了配置以后，最好是重置ambari-server来重新进行安装
[[email protected] ~]# # ambari-server stop
[[email protected] ~]# # ambari-server reset #重置命令
[[email protected] ~]# # ambari-server setup #重新设置
[[email protected] ~]# # ambari-server start
7、选择要安装的服务
8、各个服务Master配置
9、服务的Slaves 和 Clients节配置
10、服务的客制化配置
注意,我们之前已经创建过数据库了
但是点击测试的时候显示没有jdbc
运行下面语句,路径根据实际路径配置
ambari-server setup --jdbc-db=mysql --jdbc-driver=/usr/share/java/mysql-connector-java.jar
oozie也一样
11、显示配置信息
12、开始安装（安装各个服务，并且完成安装后会启动相关服务，安装过程比较长，如果中途出现错误，请根据具体提示或者log进行操作）
**
一定要解决所有报警和警告
**