CentOS7.4 Keepalived+LVS 负载均衡 后台节点健康检查

主机信息

VIP	10.10.10.55
LVS01	10.10.10.59
Web01	10.10.10.60
Web02	10.10.10.61

一、apache简单配置

　　1、（10.10.10.60）web01

#软件安装
[root@web01 ~]# yum -y install httpd
[root@web01 conf]# pwd
/etc/httpd/conf

#编辑配置文件
[root@web01 conf]# vim httpd.conf
 ServerName localhost:  # 此行要取消注释，写成localhost要不会报错。
# Indexes前面加 - 取消列表目录的功能，或者将Indexes删除
 Options -Indexes FollowSymLinks # apapche默认开启了，目录浏览功能。
 Include conf/extra/httpd-vhosts.conf # 加载虚拟主机文件

#配置展示页面
[root@web01 conf]# mkdir extra
[root@web01 extra]# vim httpd-vhosts.conf
<VirtualHost *:>
    ServerAdmin @qq.com
    DocumentRoot "/var/www/www"
    ServerName www.yanqi.org
    ServerAlias yanqi.org
    ErrorLog "logs/www-error_log"
    CustomLog "logs/wwww-access_log" common
</VirtualHost>

#写入一点内容
[root@web01 extra]# cat /var/www/www/index.html
CentOS7. Apache 10.60

注释：同样的在配置方法在10.61上配置一遍

　　2、效果测试

             

二、安装keepalived

详细配置选项请参考：https://blog.****.net/mofiu/article/details/76644012

! Configuration File for keepalived
global_defs {
   notification_email {
     [e-mail]
   }
   notification_email_from [e-mail]
   smtp_server 192.168.200.1
   smtp_connect_timeout 30
   router_id Apache_lb01
}

vrrp_instance VI_1 {
    state MASTER
    interface ens33
    virtual_router_id 51
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        10.10.10.55
    }
}

virtual_server 10.10.10.55 80 {
    delay_loop 6
    lb_algo rr
    lb_kind DR
    nat_mask 255.255.255.0
    persistence_timeout 0
    protocol TCP
    real_server 10.10.10.60 80 {
        weight 1
        TCP_CHECK {
                nb_get_retry 3
                delay_before_retry 3
                connect_timeout 5
                connect_port 80
                }
            }

    real_server 10.10.10.61 80 {
        weight 1
        TCP_CHECK {
                nb_get_retry 3
                delay_before_retry 3
                connect_timeout 5
                connect_port 80
                }

            }

}

　

　配置解释如下：

[root@lvs01 ~]# yum -y install keepalived
[root@lvs01 ~]# cd /etc/keepalived/
[root@lvs01 keepalived]# cp keepalived.conf keepalived.conf.ori
[root@lvs01 keepalived]# vim keepalived.conf
! Configuration File for keepalived
global_defs {
   notification_email {
     [e-mail]      #填写邮箱用于监控，可不写，后期用zabbix监控
   }
   notification_email_from [e-mail] #指定发件人
   smtp_server 192.168.200.1   #smtp服务器地址
   smtp_connect_timeout 30     #smtp连接超时时间
   router_id Apache_lb01       #主机id，不可重复,要保持唯一性
}

# 这是一个示列
vrrp_instance VI_1 {
    state MASTER        #keepalive的状态，主还是备？这里设置为主
    interface ens33      #设置绑定虚拟ip的网卡
    virtual_router_id 51  #这个虚拟的id，主备必须保证都一样
    priority 100          #优先级,值越大，优先级越高！
    advert_int 1          #master和backup之间同步检查的时间间隔。
    authentication {
#下面为2个keepalived之间的权限认证配置，auth_type 为验证类型，auth_pass 为密码。主备必须保证都一样。
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
#设置的虚拟ip，可以设置多个
        10.10.10.55
    }
}

virtual_server 10.10.10.55 80 {    # 这里配置虚拟服务器 （192.168.1.220 为虚拟IP， 监听8080端口）客户端就访问这个地址。
    delay_loop 6     #健康检查时间间隔，单位是秒。
    lb_algo rr       #负载均衡调度算法，互联网应用常使用 wlc 或 rr。
    lb_kind DR       #负载均衡转发规则。一般包括 DR,NAT,TUN3 种，本次使用DR的方式
    nat_mask 255.255.255.0
    persistence_timeout 0 #会话保持时间，单位是秒。这个会话是网络7层传输协议中的（第三层）会话。比如我们把它设置为60，那么客户端60秒内访问LVS虚拟服务器的请求都会被转到到同1个后台服务器节点。如果设置为0，那么每次请求都会根据配置的调度情况进行分发。
    protocol TCP  #转发协议 protocol. 一般有 tcp 和 udp 两种
    real_server 10.10.10.60 80 {    #这里配置真实服务器的地址与端口。
        weight 1   #权重，一般都是机器性能好的高一些，低的小一些
        TCP_CHECK {
                nb_get_retry 3
                delay_before_retry 3
                connect_timeout 5
                connect_port 80
                }
            }

    real_server 10.10.10.61 80 {
        weight 1
        TCP_CHECK {    # 健康检测
                nb_get_retry 3 # 重试次数
                delay_before_retry 3 # 重试次数的时间间隔
                connect_timeout 5 # 连接超时时间
                connect_port 80 # 健康检测的端口
                }

            }

}

　　2.1+ 如果还有从keeplaived参看上边的内容，只需修改以下两项：

配置从负载服务器
从负载服务器与主负载服务器大致相同，只是在keepalived的配置文件中需要改以下两处：
　　（1）将state由MASTER改为BACKUP
　　（2）将priority由100改为99

　 2.2、启动服务

Keepalived 正常运行时，共启动 3 个进程，其中一个进程是父进程，负责监控其子进程；一个是 vrrp 子进程；另外一个是 checkers 子进程。 　

　2.3、检查

如果没有，必须下载：yum -y install ipvsadm

可以查看日志：tail -f /var/log/message

可以用其它服务器去ping 10.10.10.55这个虚拟IP，Telnet 80端口，测试虚拟服务器是否有问题。

三、客户端操作内容

[root@web02 tmp]# vim lvs_real.sh
#!/bin/bash
#description : start realserver
VIP=10.10.10.55
#/etc/rc.d/init.d/functions
case "$1" in
start)
echo " start LVS of REALServer"
/sbin/ifconfig lo:0 $VIP broadcast $VIP netmask 255.255.255.255 up
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
;;
stop)
/sbin/ifconfig lo:0 down
echo "close LVS Directorserver"
echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce
;;
*)
echo "Usage: $0 {start|stop}"
exit 1

　

修改权限并设置开机启动　

chmod +x lvs_real.sh
[root@web02 tmp]# which sh
/usr/bin/sh
[root@web02 tmp]# echo "/usr/bin/sh /tmp/lvs_real.sh " >> /etc/rc.local
[root@web02 tmp]# tail -1 /etc/rc.local
/usr/bin/sh /tmp/lvs_real.sh

　

四、检查

后续如需使用zabbix监控，可以浏览：待写！！！！！

五、负载不均衡的可能原因

• lvs自身的会话保持参数设置 persisten
• lvs调度算法设置
• 后端节点的会话保持参数
• 访问量较少的情况，不均衡的现象更加的明显
• 用户发送的请求时间长短和请求的资源多少大小

六、参考文档：

ipvsadm命令：https://segmentfault.com/a/1190000002609473

　　　　　　https://blog.****.net/shudaqi2010/article/details/60467760

配置参考：https://blog.****.net/nimasike/article/details/51932674

CentOS6.8: https://blog.****.net/u012453843/article/details/72783942

其他：http://blog.sina.com.cn/s/blog_a55699a601019tha.html