LVS + Keepalived 实现高可用、负载均衡 Web 集群

简介：

LVS 是 Linux Virtual Server 的简写，Linux 虚拟服务器的意思，是一个虚拟的服务器集群系统，此项目由章文嵩博士于 1998 年 5 月成立，是中国最早出现的*软件项目之一。

LVS 负载均衡集群系统的优点：

1、提高吞吐量

想获得更高的吞吐量，在 LVS 中只需增加 Real-server 即可，其开销只是线性增长。如选择更换一台更高性能的服务器来获得相当的吞吐量，开销要大很多。

2、冗余

如果 LVS 中某台 Real-server 由于需要升级或其它原因不能对外提供服务，其退出及恢复工作并不会对用户造成服务中断。

3、适应性

不管是需要吞吐量逐渐变化、还是快速变化，服务器的增减对客户都是透明的。

LVS 负载均衡集群系统的三种转发机制：

1、Virtual Server via NAT ( VS/NAT )

VS/NAT 网络地址转换模式，服务器可以运行任何支持 TCP/IP 协议的操作系统，它只需要一个公网 IP 地址配置在 LVS 主机上，后端真实服务器都可以使用私有地址。
它的缺点是扩充能力有限，当后端真实服务器达到一定数量时，LVS 本机有可能成为集群瓶颈，因为整个集群中的客户端请求和响应封包都要通过 LVS 负载均衡主机。

2、Virtual Server via IP Tunneling ( VS/TUN )

VS/TUN IP 隧道模式，负载均衡 LVS 主机只将请求分配到不同的真实服务器，真实服务器将结果直接返回给客户端。这样 LVS 可以处理海量的请求，而不会成为集群系统瓶颈。
并且 IP 隧道模式不限制真实服务器位置，只要系统支持 IP 隧道协议并且网络可达就可以。多了一层 IP 隧道的开销，且并不是所有系统都支持此协议。

3、Virtual Server via Direct Routing ( VS/DR )

VS/DR 直接路由模式，同样 LVS 主机只处理客户端到服务器端的连接，响应信息由真实服务器直接返回给客户端。
DR 模式要求所有真实服务器必须至少有一块网卡与 LVS 主机在同一物理网段中，且真实服务器网络设备或设备别名不作 ARP 响应。

Keepalived 起初是 LVS 设计的，专门用来监控集群系统中各个服务节点的状态，后来又加入了 VRRP（虚拟路由冗余协议）解决静态路由出现的单点故障问题，
通过 VRRP 协议可以实现网络不间断稳定运行。因此，Keepalived 不仅具有服务器状态检测和故障隔离功能，还具有 HA Cluster 功能。

Keepalived 作为 LVS 的扩展项目，因此。Keepalived 可以与 LVS 无缝整合，轻松构建一套高性能的负载均衡集群系统。

环境描述：( CentOS 6.6_x86_64 minimal )

LVS VIP 192.168.214.50

LVS Master 192.168.214.20
LVS Backup 192.168.214.30

Real-Server-1 192.168.214.10
Real-Server-1 192.168.214.40

软件包下载地址：

Ipvsadm http://www.linuxvirtualserver.org/software/kernel-2.6/ipvsadm-1.26.tar.gz
Keepalived http://www.keepalived.org/software/keepalived-1.2.10.tar.gz

一、安装环境依赖包

shell > yum install -y gcc gcc-c++ makepcre pcre-devel kernel-devel openssl-devel libnl-devel popt-devel popt-static

二、下载、安装 ipvsadm 、keepalived

shell > wget http://www.linuxvirtualserver.org/software/kernel-2.6/ipvsadm-1.26.tar.gz

shell > tar zxf ipvsadm-1.26.tar.gz

shell > cd ipvsadm-1.26

shell > make ; make install

shell > ipvsadm -v
ipvsadm v1.26 2008/5/15 (compiled with popt and IPVS v1.2.1)

## 安装还是很简单的

shell > wget http://www.keepalived.org/software/keepalived-1.2.10.tar.gz

shell > tar zxf keepalived-1.2.10.tar.gz

shell > cd keepalived-1.2.10

shell > ./configure --sysconf=/etc --with-kernel-dir=/usr/src/kernels/2.6.32-504.23.4.el6.x86_64

## --sysconf 指定 keepalived.conf 的存放位置 --with-kernel-dir 指定使用内核源码中的头文件，即 include 目录

shell > make ; make install

shell > ln -s /usr/local/sbin/keepalived /sbin/

shell > keepalived -v
Keepalived v1.2.10 (07/01,2015)

## 安装也是蛮简单的

三、配置 keepalived.conf

shell > vim /etc/keepalived/keepalived.conf

! Configuration File for keepalived

global_defs {
   router_id MASTER                                  ## keepalived 服务器标识符，可以随意设定（ 貌似也是全局唯一 ）
}

vrrp_instance VI_1 {                                 ## 定义一个名为 VI_1 的 VRRP 实例
    state MASTER                                     ## Keepalived 服务器角色，MASTER 为主、BACKUP 为备
    interface eth0                                   ## 指定 HA 监测网络接口
    virtual_router_id 51                             ## 虚拟路由标识，同一个 VRRP 实例使用唯一的标识，主备必须一样
    priority 100                                     ## 节点优先级，同一 VRRP 实例中 MASTER 的优先级必须大于 BACKUP
    advert_int 1                                     ## MASTER / BACKUP 之间同步检查间隔时间，单位 秒
    authentication {                                 ## 节点之间通信验证类型、密码 ，同一 VRRP 实例中，MASTER / BACKUP 必须使用相同的密码才可以通信
        auth_type PASS
        auth_pass 888
    }
    virtual_ipaddress {                              ## 虚拟 IP 地址，又称漂移 IP 。可以通过 ip add 在 MASTER 上查看是否绑定
192.168.214.50
    }
}

virtual_server 192.168.214.50 80 {                   ## 定义虚拟服务器
    delay_loop 6                                     ## 定义健康检查时间间隔，单位 秒
    lb_algo rr                                       ## 负载均衡调度算法，支持 rr 、wrr 、lc 、wlc 、lblc 、sh 、dh 等
    lb_kind DR                                       ## LVS 负载均衡机制，支持 NAT 、TUN 、DR
    nat_mask 255.255.255.0                           ## 子网掩码
    persistence_timeout 120                          ## 会话保持时间，单位 秒。提供动态页面 session 保持功能，同一 IP 该值时间内被持续分配到同一台节点服务器上
    protocol TCP                                     ## 转发协议类型，支持 TCP 、UDP

    real_server 192.168.214.10 80 {                  ## 定义节点服务器
        weight 1                                     ## 节点权重值，数字越大权重越高，分配到的连接越多。主要用于后端节点服务器性能不统一
        notify_down /etc/keepalived/real_down.sh     ## 该节点服务器处于 DOWN 状态后执行的脚本
        TCP_CHECK {                                  ## 健康检测方式，支持 HTTP_GET 、SSL_GET 、TCP_CHECK 、SMTP_CHECK 、MISC_CHECK
           connect_port 80                           ## 检测端口，不指定时默认为 real_server 指定的端口
           connect_timeout 3                         ## 无响应超时时间，单位 秒
           nb_get_retry 3                            ## 重试次数
           delay_before_retry 3                      ## 重试间隔，单位 秒
        }
    }
    real_server 192.168.214.40 80 {                  ## 第二台节点服务器
         weight 1
         notify_down /etc/keepalived/real_down.sh
         TCP_CHECK {
         connect_port 80
         connect_timeout 3
         nb_get_retry 3
         delay_before_retry 3
         }
    }
}

shell > vim /etc/keepalived/real_down.sh

#!/bin/bash

Mail='admin@mail.com'

echo "Real Server State is DOWN" | mail -s "Keepalived Mail" $Mail

## 当 real server 处于 DOWN 状态时执行的脚本，LVS 要启动 Sendmail 、Postfix 或其它邮件服务

四、启动 Keepalived 并加入开机启动、配置防火墙规则

shell > /etc/init.d/keepalived start

shell > chkconfig --add keepalived

shell > chkconfig --level 35 keepalived on

shell > iptables -I INPUT 4 -p tcp --dport 80 -j ACCEPT

shell > service iptables save

## 现在使用 ip add 可以看到绑定了 VIP ，并且 /var/log/messages 日志文件中也有关于 VIP 绑定、real server 的检测结果

五、以上都是在 MASTER 主机的操作，下面配置 BACKUP 主机

## 步骤一、二、四完全一样，主要将步骤三的 keepalived.conf 中 router_id 、state 、priority 修改为 BACKUP 、BACKUP 、80 即可

## 同样可以使用 ip add 查看 VIP 信息，不过它现在是 BACKUP 状态，没有绑定 VIP 为正常，通过 /var/log/messages 日志文件可以看到处于 BACKUP 状态。

六、配置 Real-server ,后端节点服务器

Real-Server-1

shell > yum -y install httpd

shell > echo "welcome to Real-Server-1" > /var/www/html/index.html

shell > /etc/init.d/httpd start

shell > iptables -I INPUT -p tcp --dport 80 -j ACCEPT

Real-Server-2

shell > yum -y install httpd

shell > echo "welcome to Real-Server-2" > /var/www/html/index.html

shell > /etc/init.d/httpd start

shell > iptables -I INPUT -p tcp --dport 80 -j ACCEPT

shell > vim /etc/init.d/realserver.sh  ## Real-Server-1 / Real-Server-2 都要建立此脚本，并设为开机启动

#!/bin/bash

VIP='192.168.214.50'

. /etc/init.d/functions

case "$1" in
  start)
/sbin/ifconfig lo:0 $VIP broadcast $VIP netmask 255.255.255.255 up
echo "1" > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" > /proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" > /proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" > /proc/sys/net/ipv4/conf/all/arp_announce
echo " LVS Real-Server Start Success"
      ;;
    stop)
/sbin/ifconfig lo:0 down
echo "0" > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo "0" > /proc/sys/net/ipv4/conf/lo/arp_announce
echo "0" > /proc/sys/net/ipv4/conf/all/arp_ignore
echo "0" > /proc/sys/net/ipv4/conf/all/arp_announce
echo " LVS Real-Server Stop Success"
      ;;
*)
echo "Usage: $0 ( start | stop )"
     exit 1
esac

shell > chmod a+x /etc/init.d/realserver.sh

shell > /etc/init.d/realserver.sh start

shell > echo "/etc/init.d/realserver.sh start" >> /etc/rc.local  ## 加入开机启动

## 此脚本用于节点服务器绑定 VIP ，并抑制响应 VIP 的 ARP 请求。
## 这样做的目的是为了不让关于 VIP 的 ARP 广播时，节点服务器应答（因为节点服务器都绑定了 VIP ，如果不做设置它们会应答，就会乱套）

七、测试

1、首先单独测试节点服务器能不能访问

## 单独访问 192.168.214.10 192.168.214.40 ，如果可以看到页面显示 Welcome to Real-Server-1 和 Welcome to Real-Server-2 则节点服务器正常

2、分别查看节点服务器是否都绑定了 VIP

## 分别在节点服务器上使用 ifconfig lo:0 ，如果可以看到 lo:0 虚拟网卡被绑定了 VIP 192.168.214.50 则节点服务器正常

3、首先查看 MASTER 服务器有没有绑定 VIP ，状态是不是 MASTER ，检测后端节点服务器是不是成功

## 使用 ip add 查看是否绑定 VIP ，tail /var/log/messages 查看服务器状态是不是 MASTER ，检测节点服务器有没有连接成功信息：

Jul 2 17:38:44 localhost Keepalived_healthcheckers[1015]: TCP connection to [192.168.214.10]:80 success.
Jul 2 17:38:44 localhost Keepalived_healthcheckers[1015]: Adding service [192.168.214.10]:80 to VS [192.168.214.50]:80

Jul 2 17:44:01 localhost Keepalived_healthcheckers[1015]: TCP connection to [192.168.214.40]:80 success.
Jul 2 17:44:01 localhost Keepalived_healthcheckers[1015]: Adding service [192.168.214.40]:80 to VS [192.168.214.50]:80

## 服务器状态信息：

Jul 2 13:07:48 localhost Keepalived_vrrp[1016]: VRRP_Instance(VI_1) Transition to MASTER STATE
Jul 2 13:07:49 localhost Keepalived_vrrp[1016]: VRRP_Instance(VI_1) Entering MASTER STATE
Jul 2 13:07:49 localhost Keepalived_vrrp[1016]: VRRP_Instance(VI_1) setting protocol VIPs.
Jul 2 13:07:49 localhost Keepalived_vrrp[1016]: VRRP_Instance(VI_1) Sending gratuitous ARPs on eth0 for 192.168.214.50
Jul 2 13:07:49 localhost Keepalived_healthcheckers[1015]: Netlink reflector reports IP 192.168.214.50 added

4、同样查看 BACKUP 服务器有没有绑定 VIP ，状态是不是 BACKUP ，检测后端节点服务器是不是成功

## 发现没有绑定 VIP 为正常，状态为 BACKUP 为正常，同样能够检测到后端节点服务器为正常，相关信息如下：

Jul 2 17:27:06 localhost Keepalived_vrrp[1017]: VRRP_Instance(VI_1) Entering BACKUP STATE
Jul 2 17:27:06 localhost Keepalived_vrrp[1017]: VRRP sockpool: [ifindex(2), proto(112), unicast(0), fd(11,12)]
Jul 2 17:27:06 localhost Keepalived_healthcheckers[1016]: Using LinkWatch kernel netlink reflector...

Jul 2 17:38:40 localhost Keepalived_healthcheckers[1016]: TCP connection to [192.168.214.10]:80 success.
Jul 2 17:38:40 localhost Keepalived_healthcheckers[1016]: Adding service [192.168.214.10]:80 to VS [192.168.214.50]:80

Jul 2 17:44:01 localhost Keepalived_healthcheckers[1016]: TCP connection to [192.168.214.40]:80 success.
Jul 2 17:44:01 localhost Keepalived_healthcheckers[1016]: Adding service [192.168.214.40]:80 to VS [192.168.214.50]:80

5、客户端访问 VIP 测试负载均衡

## 直接访问 192.168.214.50 ，如果可以访问到页面证明成功。
## 当多次访问后发现，页面并没有发生变化，也就是说并没有负载均衡。
## 在 MASTER 上使用 ipvsadm -Ln 命令看到的信息如下：

shell > ipvsadm -Ln

IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.214.50:80 rr persistent 120
  -> 192.168.214.10:80            Route   1      0          0
  -> 192.168.214.40:80            Route   1      0          87

## 发现有 87 次访问都被分配到了 192.168.214.40 这台节点服务器上，这正常吗？
## 不要着急，这是正常的！还记得大明湖畔的夏雨荷吗？哦不，还记得 persistence_timeout 120 这个参数吗？
## 正因为设置了 session 保持时间，所以持续的访问被分配到了某一台节点服务器。
## 现在把此参数注释掉，测试一次（记得重启 keepalived ）。

shell > ipvsadm -Ln

IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.214.50:80 rr
-> 192.168.214.10:80            Route   1      0          26
  -> 192.168.214.40:80            Route   1      0          26

## 可以看到请求被均衡的分配到了现台节点服务器上（ rr 轮询调度算法），并且页面也在两台节点服务器上切换。

## 当节点服务器宕机后会发生什么？

shell > tail /var/log/messages

Jul 2 18:38:36 localhost Keepalived_healthcheckers[1636]: TCP connection to [192.168.214.40]:80 failed !!!
Jul 2 18:38:36 localhost Keepalived_healthcheckers[1636]: Removing service [192.168.214.40]:80 from VS [192.168.214.50]:80

## 检测失败，节点服务器 192.168.214.40 被从 IPVS 中移除

shell > ipvsadm -Ln

IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.214.50:80 rr
-> 192.168.214.10:80            Route   1      0          17

## 宕机的节点服务器被移除了

Jul 2 18:45:48 localhost Keepalived_healthcheckers[1705]: TCP connection to [192.168.214.40]:80 success.
Jul 2 18:45:48 localhost Keepalived_healthcheckers[1705]: Adding service [192.168.214.40]:80 to VS [192.168.214.50]:80

## 当节点服务器修复后，会自动将节点服务器加入集群中。

6、客户端访问 VIP 测试高可用

## 当 MASTER 服务器无法提供服务时，VIP 会在 MASTER 上自动移除，BACKUP 服务器会提升为 MASTER 状态，绑定 VIP 、接管服务。
## 当 MASTER 修复加入网络后，会自动抢回 VIP ，成为 MASTER 身份。这再繁忙的网络环境中是不理想的。
## 可以通过 nopreempt 参数来设置不抢占功能，设置此参数时需要注意，必须将之前修复的 MASTER 机器状态设为 BACKUP ，优先级还保持最高。

秒客网

LVS + Keepalived 实现高可用、负载均衡 Web 集群

相关文章