Nginx+Keepalived搭建高可用负载均衡集群

时间：2022-12-19 10:28:56

一、环境规划

Nginx+Keepalived搭建高可用负载均衡集群

  • 操作系统：CentOS6.5 x86_64

  • 内核版本：2.6.32-504.el6.x86_64

  • Nginx版本：nginx-1.8.0-1.el6.ngx.x86_64

  • Keepalived版本：keepalived-1.2.19

    前端双Nginx+Keepalived，Nginx反向代理到后端tomcat集群实现负载均衡，Keepalived实现集群高可用，主nginx故障后虚拟IP自动漂移到备nginx。

    主nginx：192.168.60.48

    备nginx：192.168.60.49

    虚拟IP：192.168.60.50

    后端tomcat集群：192.168.60.51、192.168.60.52、192.168.60.53

    后端每个主机都开启两个端口提供业务：16915、16916

二、安装

    前端两台主机分别安装nginx和keepalived。

    1）编译安装keepalived

# 安装依赖yum install kernel-* gcc make openssl-*
# 下载keepalived-1.2.19.tar.gz
wget http://www.keepalived.org/software/keepalived-1.2.19.tar.gz
# 解压
tar xvzf keepalived-1.2.19.tar.gz 
cd keepalived-1.2.19
# 配置
./configure --sysconfdir=/etc --with-kernel-dir=/usr/src/kernels/2.6.32-504.el6.x86_64
# 编译并安装
make && make install
# 查看keepalived版本，验证安装成功
keepalived -v
# 设置开机自启动
chkconfig keepalived on

    注：用yum也可安装keepalived，不过版本要低一些。

    2）RPM包安装Nginx

    官方nginx yum源：

[nginx]name=nginx repobaseurl=http://nginx.org/packages/centos/$releasever/$basearch/enabled=1gpgcheck=0

    yum源设置好后直接安装即可：

yum install nginxchkconfig nginx on

三、配置

    1）前端两台主机nginx的配置完全一样

# vim /etc/nginx/conf.d/upstream.conf upstream tomcatclu_16915 {        server 192.168.60.51:16915;        server 192.168.60.52:16915;        server 192.168.60.53:16915;        ip_hash;}upstream tomcatclu_16916 {        server 192.168.60.51:16916;        server 192.168.60.52:16916;        server 192.168.60.53:16916;        ip_hash;}# vim /etc/nginx/conf.d/server.confserver {    listen 16915;    server_name _;    location / {        proxy_pass http://tomcatclu_16915;    }    location /nginx_status{        stub_status on;        access_log off;        allow 127.0.0.1;        # 要允许公司ip访问nginx status        allow 192.168.252.0/24;        deny all;    }}server {    listen 16916;    server_name _;    location / {        proxy_pass http://tomcatclu_16916;    }    location /nginx_status{        stub_status on;        access_log off;        allow 127.0.0.1;        # 要允许公司ip访问nginx status        allow 192.168.252.0/24;        deny all;    }}

    2）nginx_master的keepalived配置

[root@nginx_master ~]# vim /etc/keepalived/keepalived.conf ! Configuration File for keepalivedglobal_defs {   router_id nginx-ha1}vrrp_script check_nginx {    # 检查nginx状态的脚本，文章后面给出    script "/data/script/check_nginx.sh"    # 执行间隔2秒    interval 2}vrrp_instance VI_1 {    # 两台主机都是BACKUP    state BACKUP    interface eth0    # 同一keepalived集群的virtual_router_id 必须相同，默认51    virtual_router_id 55    # 主的优先级高    priority 100    advert_int 1    # 不抢占：如果集群里已存在MASTER状态的主机，即使优先级高于MASTER也不抢占为MASTER。只在优先级高的主机上设置即可。    nopreempt    authentication {        auth_type PASS        auth_pass 1111    }    virtual_ipaddress {        # 虚拟IP        192.168.60.50    }    track_script {        check_nginx    }}

    3）nginx_slave的keepalived配置

[root@nginx_slave ~]# vim /etc/keepalived/keepalived.conf ! Configuration File for keepalivedglobal_defs {   router_id nginx-ha2}vrrp_script check_nginx {    script "/data/script/check_nginx.sh"    interval 2}vrrp_instance VI_1 {    state BACKUP    interface eth0    virtual_router_id 55    # 备的优先级低    priority 80    advert_int 1    authentication {        auth_type PASS        auth_pass 1111    }    virtual_ipaddress {        192.168.60.50    }    track_script {        check_nginx    }}

    4）防火墙设置

# iptables放行组播地址流量:iptables -I INPUT -d 224.0.0.18 -j ACCEPTservice iptables save

    VRRP报文是通过IP多播形式发送的，组播地址224.0.0.18是VRRP报文的目的地址。
    本实验里，两个主机都是BACKUP，如果同时启动keepalived，VRRP协议通过竞选使优先级高的主机做为MASTER。如果防火墙没有允许VRRP报文通过的话，两个BACKUP都会成为MASTER，你会发现两个主机都启动了虚拟IP。
    5）部署nginx状态检查脚本check_nginx.sh

    /data/script/check_nginx.sh检查脚本内容如下：

#!/bin/bash# check nginx server status# http://qicheng0211.blog.51cto.com # nginx端口PORTS="16915 16916"function check_ports {    for port in $PORTS;do        nc -z 127.0.0.1 $port | grep -q succeeded        [ "${PIPESTATUS[1]}" -eq 0 ] && mark=${mark}1    done    # 如果mark值为空说明两个端口都不通。    # 如果mark等于1，说明有一个端口是通的。    # 如果mark等于11，说明两个端口都是通的。    echo $mark}ret1=$(check_ports)# 如果nginx端口不通，会尝试重启一次nginxif [ "$ret1" != 11 ];then    /sbin/service nginx stop    /sbin/service nginx start    sleep 1    ret2=$(check_ports)    # 如果还是有端口不通，表示nginx服务不正常，则停掉keepalived，使VIP发生切换    [ "$ret2" != 11 ] && /etc/init.d/keepalived stopfi

    大家根据自个的环境编写nginx状态检查脚本，不一定要照搬。

    给脚本设置可执行权限：

chmod +x /data/script/check_nginx.sh

    补充一点：如果nginx恢复正常后，keepalived不能自动启动，需要编写一个脚本完成这项工作：判断nginx正常后，拉起keepalived。脚本放到cron里每分钟执行。

    6）开启keepalived的日志

    编辑/etc/sysconfig/keepalived：

KEEPALIVED_OPTIONS="-D -d -S 0"

    编辑/etc/rsyslog.conf：

# 配置文件最后面加上下面一行local0.*                                        /var/log/keepalived.log

    重启rsyslog：

service rsyslog restart

    按上面配置后，keepalived会把日志记录到/var/log/keepalived.log。

    7）启动服务

# 先检查nginx配置文件正确性nginx -t# 启动nginx服务service nginx start# 同时启动keepalived服务service keepalived start# 过一会查看虚拟IP是否在nginx_master主机上ip a

    四、验证

    nginx_master和nginx_slave同时启动keepalived，观察日志/var/log/keepalived.log，你会发现nginx_master抢占为MASTER，绑定了虚拟IP192.168.60.50。

    nginx_master：

Nginx+Keepalived搭建高可用负载均衡集群

Nginx+Keepalived搭建高可用负载均衡集群

    nginx_slave：

Nginx+Keepalived搭建高可用负载均衡集群

    我们在同网段的其他机器上去arping一下虚拟IP的MAC，发现是nginx_master eth0的mac：

Nginx+Keepalived搭建高可用负载均衡集群

   下面我们把nginx_master的keepalived服务停掉或者重启系统，同时不断的ping虚拟IP。经过一个请求超时的间隔，虚拟IP会漂移到nginx_slave上面：

Nginx+Keepalived搭建高可用负载均衡集群

    nginx_slave：

Nginx+Keepalived搭建高可用负载均衡集群

    我们再去arping一下虚拟IP的MAC，发现变成了nginx_slave eth0的mac：

Nginx+Keepalived搭建高可用负载均衡集群

    查看nginx_slave的日志keepalived.log，nginx_slave在成为MASTER的同时发送了免费ARP（gratuitous ARP），更新了以太网邻居的ARP快速缓存：

VRRP_Instance(VI_1) Entering MASTER STATEVRRP_Instance(VI_1) setting protocol VIPs.VRRP_Instance(VI_1) Sending gratuitous ARPs on eth0 for 192.168.60.50

    最后把nginx_master的keepalived服务开启，虚拟IP并没有漂移回到nginx_master，这是因为nginx_master开启了不抢占模式，即使优先级高，也不会抢占MASTER。

本文出自 “启程的Linux博客” 博客，请务必保留此出处http://qicheng0211.blog.51cto.com/3958621/1695674

标签：

相关文章