LVS+Keepalived 实现高可用的前端负载均衡器

时间:2022-02-09 03:19:35

1.Keepalived 定义

   Keepalived 是一个基于VRRP协议来实现的LVS服务高可用方案,可以利用其来避免单点故障。一个LVS服务会有2台服务器运行Keepalived,一台为主服务器(MASTER),一台为备份服务器(BACKUP),但是对外表现为一个虚拟IP,主服务器会发送特定的消息给备份服务器,当备份服务器收不到这个消息的时候,即主服务器宕机的时候,备份服务器就会接管虚拟IP,继续提供服务,从而保证了高可用性。

Keepalived使用的是vrrp协议方式,虚拟路由冗余协议 (Virtual Router Redundancy Protocol,简称VRRP);
Keepalived的目的是模拟路由器的高可用;
Keepalived中实现轻量级的高可用,一般用于前端高可用,且不需要共享存储,一般常用于两个节点的高可用。

2.VRRP 协议

在现实的网络环境中,两台需要通信的主机大多数情况下并没有直接的物理连接。
主机如何选定到达目的主机的下一跳路由,可选用:
在主机上配置静态路由 ,但路由器却经常成为单点故障。VRRP的目的就是为了解决静态路由单点故障问题,VRRP通过一竞选(election)协议来动态的将路由任务交给LAN中虚拟路由器中的某台VRRP路由器。

3.VRRP 工作机制

   在一个VRRP虚拟路由器中,有多台物理的VRRP路由器,但是这多台的物理的机器并不能同时工作,而是由一台称为MASTER的负责路由工作,其它的都是BACKUP,MASTER并非一成不变,VRRP让每个VRRP路由器参与竞选,最终获胜的就是MASTER。MASTER拥有一些特权,比如,拥有虚拟路由器的IP地址,主机就是用这个IP地址作为静态路由的。拥有特权的MASTER要负责转发发送给网关地址的包和响应ARP请求。

VRRP通过竞选协议来实现虚拟路由器的功能,所有的协议报文都是通过IP多播形式发送的。虚拟路由器由VRID(范围0-255)和一组IP地址组成,对外表现为一个周知的MAC地址。所以,在一个虚拟路由器中,不管谁是MASTER,对外都是相同的MAC和IP(称之为VIP)。客户端主机并不需要因为MASTER的改变而修改自己的路由配置,对客户端来说,这种主从的切换是透明的。

在一个虚拟路由器中,只有作为MASTER的VRRP路由器会一直发送VRRP通告信息,BACKUP不会抢占MASTER,除非它的优先级(priority)更高。当MASTER不可用时(BACKUP收不到通告信息), 多台BACKUP中优先级最高的这台会被抢占为MASTER。这种抢占是非常快速的(<1s),以保证服务的连续性。由于安全性考虑,VRRP包使用了加密协议进行加密。

4.LVS

—LVS 是 Linux Virtual Server ,Linux 虚拟服务器;
—是一个虚拟的服务器集群(多台机器 LB IP);

LVS 集群分为三层结构:
—负载调度器(load balancer):它是整个LVS 集群对外的前端机器,负责将client请求发送到一组服务器(多台LB IP)上执行,而client端认为是返回来一个同一个IP(通常把这个IP 称为虚拟IP/VIP)

—服务器池(server pool):一组真正执行client 请求的服务器,一般是我们的web服务器;除了web,还有FTP,MAIL,DNS

—共享存储(shared stored):它为 server pool 提供了一个共享的存储区,很容易让服务器池拥有相同的内容,提供相同的服务

LVS 工作模式—DR
DR(Direct Routing) 工作原理:
(1)client 发送一个pv请求给VIP;VIP 收到这请求后会跟LVS设置的LB算法选择一个LB 比较合理的realserver,然后把此请求的package 的MAC地址修改为realserver的MAC地址;
(2)然后VIP会把这个包广播到当前的这个LAN里面,所以,要提前保证VIP 和 所有的realserver 在同一个网段;
(3)realserver 收到这个pachet后,首先判断dst ip 是否是自己的IP地址;如果不是就丢掉包;如果是就处理这个包。所以,DR模式还要在所有的realserver 的机器上面绑定VIP的ip地址;
(4)这样realserver 发现package 的dst(vip) 自己能识别,会处理这个包,处理完后把package的src mac, dst mac, src ip, dst ip 都修改后再通过ARP 发送给VIP,通过VIP 发送给client。
需要注意的是
—LVS 的VIP 和 realserver 必须在同一个网段,不然广播后所有的包都会丢掉;
—所有的realserver 都必须绑定VIP的IP地址;

总结:DR模式的工作原理
client –> vs –> rs(也有vip,需要nonArp,不接受直接访问vip) –> client
1.vs的数据包中包含cip和vip
2.vs和rs在同一个vlan中
3.在vs中做了二层链路的mac地址的转化
4.rs中mac向上解析得到vip和cip

LVS实践中的亮点
—lvs 不会主动断开连接
client通过LVSvip采用长链接方式访问server即使我们把LVS下面realserver的status.html文件删除了,原本通过LVS 跟这台realserver 链接的请求也不会被强制断开,(在client主动断开期间,client可以跟这台realserver 正常通信);
这样的好处就是:在网络抖动时,LVS不会频繁的流量截断到不同的RS上面。

实验环境准备:
1.操作系统
Rhel6.5 X86_64
2.软件

ipvsadm.x86_64                   

keepalived.x86_64

httpd.x86_64

3.实验主机
server1(172.25.31.1)——>MASTER
server4(172.24.31.4)——>BACKUP
server2(172.25.31.2)——>REALSERVER
server3(172.25.31.3)——>REALSERVER

keepalived

Keepalived —–>LVS管理软件
实现lvs+keepalived的高可用和负载均衡

server1(master)
避免之前的集群的影响

/etc/init.d/heartbeat  stop         ##停止heartbeat
chkconfig heartbeat off ##开机不启动heartbeat

tar zxf keepalived-1.3.5.tar.gz 解压缩包
yum install gcc -y 安装编译环境需要的依赖包
yum install openssl-devel -y

cd keepalived-1.3.5
./configure –prefix=/usr/local/keepalived –with-init=SYSV 指定安装目录,和运行级别
make && make install 编译执行安装
cd /usr/local/
scp -r keepalived/ server4:/usr/local/ 将下载好的keepalived目录同步给server4
ln -s /usr/local/keepalived/sbin/keepalived /sbin/ 将keepalived主程序加入到环境变量
ln -s /usr/local/keepalived/etc/keepalived/ /etc/
ln -s /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/ keepalived启动脚本变量引用文件
ln -s /usr/local/keepalived/etc/rc.d/init.d/keepalived /etc/init.d/ keepalived启动脚本,放到/etc/init.d/目录下就可以使用命令调用
chmod +x keepalived 加权限使脚本生效

cd /etc/keepalived/
vim keepalived.conf 在主负载均衡服务器上配置

global_defs {
notification_email { ##指定keepalived在发生事情的时候,发送邮件告知
root@localhost ##指定为本地用户
}
notification_email_from keepalived@server1 ##指定发件人
smtp_server 127.0.0.1 ##发送email的smtp地址
smtp_connect_timeout 30 ##超时时间
router_id LVS_DEVEL
vrrp_skip_check_adv_addr
vrrp_strict
vrrp_garp_interval 0
vrrp_gna_interval 0
}

vrrp_instance VI_1 {
state MASTER ##指定当前节点为主节点
interface eth0 ##绑定虚拟IP的网络接口
virtual_router_id 82 ##VRRP组名,两个节点的设置必须一样,以指明各个节点属于同一VRRP组
priority 100##主节点的优先级(1-254之间),备用节点必须比主节点优先级低
advert_int 1
authentication { #设置验证信息,两个节点必须一致
auth_type PASS
auth_pass 1111
}
virtual_ipaddress { #指定虚拟IP, 两个节点设置必须一样
172.25.31.100
}
}

virtual_server 172.25.31.100 80 {
delay_loop 6
lb_algo rr
lb_kind DR ##DR模式
# persistence_timeout 50
protocol TCP

real_server 172.25.31.2 80 { #配置realaserver
weight 1
TCP_CHECK { #监控配置
connect_time 3
nb_get_retry 3
delay_before_retry 3

}
}
real_server 172.25.31.3 80 {
weight 1
TCP_CHECK {
connect_time 3
nb_get_retry 3
delay_before_retry 3
}
}
}

/etc/init.d/keepalived start 启动keepalived服务
ip addr 查看vip是否在本机
tail -f /var/log/messages 监听日志,查看状态
scp keepalived.conf 172.25.31.4:/etc/keepalived/ 将主配置文件同步到server4备机上
ipvsadm -l 查看ipvs表,查看资源的接管状态
iptables -L 查看防火墙策略
iptables -F 由于版本问题,需刷掉自动生成的策略

server4(backup):
/etc/init.d/heartbeat stop 停止heartbeat
chkconfig heartbeat off 开机不启动heartbeat

ln -s /usr/local/keepalived/sbin/keepalived /sbin/ 同server1做软连接
ln -s /usr/local/keepalived/etc/keepalived/ /etc/
ln -s /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/
ln -s /usr/local/keepalived/etc/rc.d/init.d/keepalived /etc/init.d/
cd /usr/local/keepalived/etc/rc.d/init.d/
chmod +x keepalived 加权限使脚本生效

vim etc/keepalived/keepalived.conf BACKUP服务器的配置

! Configuration File for keepalived

global_defs {
notification_email {
root@localhost
}
notification_email_from keepalived@server4 ##指定keepalived在发生事情的时候,发送邮件告知
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id LVS_DEVEL
vrrp_skip_check_adv_addr
vrrp_strict
vrrp_garp_interval 0
vrrp_gna_interval 0
}

vrrp_instance VI_1 {
state BACKUP ##修改为BACKUP
interface eth0
virtual_router_id 82
priority 50 ##优先级需低于Master
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
172.25.31.100
}
}

virtual_server 172.25.31.100 80 {
delay_loop 6
lb_algo rr
lb_kind DR
# persistence_timeout 50
protocol TCP

real_server 172.25.31.2 80 {
weight 1
TCP_CHECK {
connect_time 3
nb_get_retry 3
delay_before_retry 3

}
}
real_server 172.25.31.3 80 {
weight 1
TCP_CHECK {
connect_time 3
nb_get_retry 3
delay_before_retry 3
}
}
}

/etc/init.d/keepalived start 启动keepalived
ipvsadm -l 查看lvs状态

server2/3(RealServer):
/etc/init.d/httpd restart 将realserver的httpd服务开启

测试:实现负载均衡

[root@foundation31 Desktop]# curl 172.25.31.100 ##发送http请求 
server2-www.westos.org
[root@foundation31 Desktop]# curl 172.25.31.100 ##发送http请求
server3-www.westos.org
[root@foundation31 Desktop]# curl 172.25.31.100 ##发送http请求
server2-www.westos.org

1.模拟rs服务故障:server2:/etc/init.d/httpd stop

[root@server1 ~]# ipvsadm -Ln ##查看master的lvs状态
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 172.25.31.2:80 rr
-> 172.25.31.3:80 Route 1 0 0

2.停止server1(Master)服务器的keepalived服务,查看server4(BAKCUP)服务器是否能正常接管服务

 [root@server1 keepalived]# ipvsadm -Ln ##查看master的lvs状态
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
[root@server4 ~]# ip addr
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 16436 qdisc noqueue state UNKNOWN
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
link/ether 52:54:00:b6:e0:73 brd ff:ff:ff:ff:ff:ff
inet 172.25.31.4/24 brd 172.25.31.255 scope global eth0
inet 172.25.31.100/32 scope global eth0
inet6 fe80::5054:ff:feb6:e073/64 scope link
valid_lft forever preferred_lft forever
[root@server4 ~]# ipvsadm -Ln     ##查看lvs状态
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 172.25.31.100:80 rr
-> 172.25.31.2:80 Route 1 0 0
-> 172.25.31.3:80 Route 1 0 0

测试: 资源接管后的负载均衡

[root@foundation31 Desktop]# curl 172.25.31.100 
server2-www.westos.org
[root@foundation31 Desktop]# curl 172.25.31.100
server3-www.westos.org
[root@foundation31 Desktop]# curl 172.25.31.100
server2-www.westos.org