LVS+Keepalived 实现高可用的前端负载均衡器

1.Keepalived 定义

   Keepalived 是一个基于VRRP协议来实现的LVS服务高可用方案，可以利用其来避免单点故障。一个LVS服务会有2台服务器运行Keepalived，一台为主服务器（MASTER），一台为备份服务器（BACKUP），但是对外表现为一个虚拟IP，主服务器会发送特定的消息给备份服务器，当备份服务器收不到这个消息的时候，即主服务器宕机的时候，备份服务器就会接管虚拟IP，继续提供服务，从而保证了高可用性。

Keepalived使用的是vrrp协议方式，虚拟路由冗余协议 (Virtual Router Redundancy Protocol，简称VRRP)；
Keepalived的目的是模拟路由器的高可用；
Keepalived中实现轻量级的高可用，一般用于前端高可用，且不需要共享存储，一般常用于两个节点的高可用。

2.VRRP 协议

在现实的网络环境中，两台需要通信的主机大多数情况下并没有直接的物理连接。
主机如何选定到达目的主机的下一跳路由，可选用：
在主机上配置静态路由 ，但路由器却经常成为单点故障。VRRP的目的就是为了解决静态路由单点故障问题，VRRP通过一竞选(election)协议来动态的将路由任务交给LAN中虚拟路由器中的某台VRRP路由器。

3.VRRP 工作机制

   在一个VRRP虚拟路由器中，有多台物理的VRRP路由器，但是这多台的物理的机器并不能同时工作，而是由一台称为MASTER的负责路由工作，其它的都是BACKUP，MASTER并非一成不变，VRRP让每个VRRP路由器参与竞选，最终获胜的就是MASTER。MASTER拥有一些特权，比如，拥有虚拟路由器的IP地址，主机就是用这个IP地址作为静态路由的。拥有特权的MASTER要负责转发发送给网关地址的包和响应ARP请求。

   VRRP通过竞选协议来实现虚拟路由器的功能，所有的协议报文都是通过IP多播形式发送的。虚拟路由器由VRID(范围0-255)和一组IP地址组成，对外表现为一个周知的MAC地址。所以，在一个虚拟路由器中，不管谁是MASTER，对外都是相同的MAC和IP(称之为VIP)。客户端主机并不需要因为MASTER的改变而修改自己的路由配置，对客户端来说，这种主从的切换是透明的。

   在一个虚拟路由器中，只有作为MASTER的VRRP路由器会一直发送VRRP通告信息，BACKUP不会抢占MASTER，除非它的优先级(priority)更高。当MASTER不可用时(BACKUP收不到通告信息)， 多台BACKUP中优先级最高的这台会被抢占为MASTER。这种抢占是非常快速的(<1s)，以保证服务的连续性。由于安全性考虑，VRRP包使用了加密协议进行加密。

4.LVS

—LVS 是 Linux Virtual Server ，Linux 虚拟服务器；
—是一个虚拟的服务器集群(多台机器 LB IP)；

LVS 集群分为三层结构:
—负载调度器(load balancer)：它是整个LVS 集群对外的前端机器，负责将client请求发送到一组服务器（多台LB IP）上执行，而client端认为是返回来一个同一个IP（通常把这个IP 称为虚拟IP/VIP）

—服务器池(server pool)：一组真正执行client 请求的服务器，一般是我们的web服务器；除了web，还有FTP，MAIL，DNS

—共享存储(shared stored)：它为 server pool 提供了一个共享的存储区，很容易让服务器池拥有相同的内容，提供相同的服务

LVS 工作模式—DR
DR(Direct Routing) 工作原理：
（1）client 发送一个pv请求给VIP；VIP 收到这请求后会跟LVS设置的LB算法选择一个LB 比较合理的realserver，然后把此请求的package 的MAC地址修改为realserver的MAC地址；
（2）然后VIP会把这个包广播到当前的这个LAN里面，所以，要提前保证VIP 和 所有的realserver 在同一个网段；
（3）realserver 收到这个pachet后，首先判断dst ip 是否是自己的IP地址；如果不是就丢掉包；如果是就处理这个包。所以，DR模式还要在所有的realserver 的机器上面绑定VIP的ip地址；
（4）这样realserver 发现package 的dst（vip） 自己能识别，会处理这个包，处理完后把package的src mac， dst mac， src ip， dst ip 都修改后再通过ARP 发送给VIP，通过VIP 发送给client。
需要注意的是：
—LVS 的VIP 和 realserver 必须在同一个网段，不然广播后所有的包都会丢掉；
—所有的realserver 都必须绑定VIP的IP地址；

总结：DR模式的工作原理
client –> vs –> rs(也有vip，需要nonArp，不接受直接访问vip) –> client
1.vs的数据包中包含cip和vip
2.vs和rs在同一个vlan中
3.在vs中做了二层链路的mac地址的转化
4.rs中mac向上解析得到vip和cip

LVS实践中的亮点
—lvs 不会主动断开连接
client通过LVSvip采用长链接方式访问server即使我们把LVS下面realserver的status.html文件删除了，原本通过LVS 跟这台realserver 链接的请求也不会被强制断开，（在client主动断开期间，client可以跟这台realserver 正常通信）；
这样的好处就是：在网络抖动时，LVS不会频繁的流量截断到不同的RS上面。

实验环境准备：
1.操作系统
Rhel6.5 X86_64
2.软件

ipvsadm.x86_64                   

keepalived.x86_64     

httpd.x86_64 

3.实验主机
server1(172.25.31.1)——>MASTER
server4(172.24.31.4)——>BACKUP
server2(172.25.31.2)——>REALSERVER
server3(172.25.31.3)——>REALSERVER

keepalived

Keepalived —–>LVS管理软件
实现lvs+keepalived的高可用和负载均衡

server1(master)：
避免之前的集群的影响

/etc/init.d/heartbeat  stop         ##停止heartbeat
chkconfig heartbeat off             ##开机不启动heartbeat

tar zxf keepalived-1.3.5.tar.gz 解压缩包
yum install gcc -y 安装编译环境需要的依赖包
yum install openssl-devel -y

cd keepalived-1.3.5
./configure –prefix=/usr/local/keepalived –with-init=SYSV 指定安装目录，和运行级别
make && make install 编译执行安装
cd /usr/local/
scp -r keepalived/ server4:/usr/local/ 将下载好的keepalived目录同步给server4
ln -s /usr/local/keepalived/sbin/keepalived /sbin/ 将keepalived主程序加入到环境变量
ln -s /usr/local/keepalived/etc/keepalived/ /etc/
ln -s /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/ keepalived启动脚本变量引用文件
ln -s /usr/local/keepalived/etc/rc.d/init.d/keepalived /etc/init.d/ keepalived启动脚本，放到/etc/init.d/目录下就可以使用命令调用
chmod +x keepalived 加权限使脚本生效

cd /etc/keepalived/
vim keepalived.conf 在主负载均衡服务器上配置

global_defs {
   notification_email { ##指定keepalived在发生事情的时候，发送邮件告知
    root@localhost      ##指定为本地用户
   }
   notification_email_from keepalived@server1    ##指定发件人
   smtp_server 127.0.0.1   ##发送email的smtp地址
   smtp_connect_timeout 30  ##超时时间
   router_id LVS_DEVEL
   vrrp_skip_check_adv_addr
   vrrp_strict
   vrrp_garp_interval 0
   vrrp_gna_interval 0
}

vrrp_instance VI_1 {
state MASTER     ##指定当前节点为主节点
    interface eth0   ##绑定虚拟IP的网络接口
    virtual_router_id 82 ##VRRP组名，两个节点的设置必须一样，以指明各个节点属于同一VRRP组
    priority 100##主节点的优先级（1-254之间），备用节点必须比主节点优先级低
    advert_int 1
    authentication {   #设置验证信息，两个节点必须一致
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {  #指定虚拟IP, 两个节点设置必须一样
172.25.31.100    
    }
}

virtual_server 172.25.31.100 80 {
    delay_loop 6
    lb_algo rr
    lb_kind DR   ##DR模式
# persistence_timeout 50
    protocol TCP

    real_server 172.25.31.2 80 {  #配置realaserver 
        weight 1
    TCP_CHECK { #监控配置
        connect_time 3
        nb_get_retry 3
        delay_before_retry 3    

}
    }
    real_server 172.25.31.3 80 {
        weight 1
        TCP_CHECK {
                connect_time 3
                nb_get_retry 3
                delay_before_retry 3
}
}
}

/etc/init.d/keepalived start 启动keepalived服务
ip addr 查看vip是否在本机
tail -f /var/log/messages 监听日志，查看状态
scp keepalived.conf 172.25.31.4:/etc/keepalived/ 将主配置文件同步到server4备机上
ipvsadm -l 查看ipvs表，查看资源的接管状态
iptables -L 查看防火墙策略
iptables -F 由于版本问题，需刷掉自动生成的策略

server4(backup):
/etc/init.d/heartbeat stop 停止heartbeat
chkconfig heartbeat off 开机不启动heartbeat

ln -s /usr/local/keepalived/sbin/keepalived /sbin/ 同server1做软连接
ln -s /usr/local/keepalived/etc/keepalived/ /etc/
ln -s /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/
ln -s /usr/local/keepalived/etc/rc.d/init.d/keepalived /etc/init.d/
cd /usr/local/keepalived/etc/rc.d/init.d/
chmod +x keepalived 加权限使脚本生效

vim etc/keepalived/keepalived.conf BACKUP服务器的配置

! Configuration File for keepalived

global_defs {
   notification_email {
    root@localhost
   }
   notification_email_from keepalived@server4  ##指定keepalived在发生事情的时候，发送邮件告知
   smtp_server 127.0.0.1
   smtp_connect_timeout 30
   router_id LVS_DEVEL
   vrrp_skip_check_adv_addr
   vrrp_strict
   vrrp_garp_interval 0
   vrrp_gna_interval 0
}

vrrp_instance VI_1 {
state BACKUP   ##修改为BACKUP
    interface eth0
    virtual_router_id 82
    priority 50    ##优先级需低于Master
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
172.25.31.100    
    }
}

virtual_server 172.25.31.100 80 {
    delay_loop 6
    lb_algo rr
    lb_kind DR
# persistence_timeout 50
    protocol TCP

    real_server 172.25.31.2 80 {
        weight 1
    TCP_CHECK {
        connect_time 3
        nb_get_retry 3
        delay_before_retry 3    

}
    }
    real_server 172.25.31.3 80 {
        weight 1
        TCP_CHECK {
                connect_time 3
                nb_get_retry 3
                delay_before_retry 3
}
}
}

/etc/init.d/keepalived start 启动keepalived
ipvsadm -l 查看lvs状态

server2/3(RealServer):
/etc/init.d/httpd restart 将realserver的httpd服务开启

测试：实现负载均衡

[root@foundation31 Desktop]# curl 172.25.31.100 ##发送http请求 
server2-www.westos.org
[root@foundation31 Desktop]# curl 172.25.31.100 ##发送http请求 
server3-www.westos.org
[root@foundation31 Desktop]# curl 172.25.31.100 ##发送http请求 
server2-www.westos.org

1.模拟rs服务故障：server2:/etc/init.d/httpd stop

[root@server1 ~]# ipvsadm -Ln ##查看master的lvs状态
IP Virtual Server version 1.2.1 (size=4096)   
Prot LocalAddress:Port Scheduler Flags   
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn   
TCP  172.25.31.2:80 rr   
  -> 172.25.31.3:80            Route   1      0          0

2.停止server1(Master)服务器的keepalived服务，查看server4(BAKCUP)服务器是否能正常接管服务

 [root@server1 keepalived]# ipvsadm -Ln ##查看master的lvs状态
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn

[root@server4 ~]# ip addr
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 16436 qdisc noqueue state UNKNOWN 
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 52:54:00:b6:e0:73 brd ff:ff:ff:ff:ff:ff
    inet 172.25.31.4/24 brd 172.25.31.255 scope global eth0
    inet 172.25.31.100/32 scope global eth0
    inet6 fe80::5054:ff:feb6:e073/64 scope link 
       valid_lft forever preferred_lft forever

[root@server4 ~]# ipvsadm -Ln     ##查看lvs状态
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP  172.25.31.100:80 rr
  -> 172.25.31.2:80 Route 1 0 0 
  -> 172.25.31.3:80 Route 1 0 0 

测试: 资源接管后的负载均衡

[root@foundation31 Desktop]# curl 172.25.31.100 
server2-www.westos.org
[root@foundation31 Desktop]# curl 172.25.31.100 
server3-www.westos.org
[root@foundation31 Desktop]# curl 172.25.31.100 
server2-www.westos.org