Linux 高可用(HA)集群之keepalived+lvs

时间:2021-12-07 03:10:40

一:前言

  Keepalived使用的vrrp协议方式,虚拟路由冗余协议 (Virtual Router Redundancy Protocol,简称VRRP);Keepalived的目的是模拟路由器的高可用,一般Keepalived是实现前端高可用,常用的前端高可用的组合有,就是我们常见的LVS+Keepalived、Nginx+Keepalived、HAproxy+Keepalived。总结一下,Keepalived中实现轻量级的高可用,一般用于前端高可用,且不需要共享存储,一般常用于两个节点的高可用。

  提到高可用我们再来把Heartbeat、Corosync、Keepalived这三个集群组件互相比较一下.

Linux 高可用(HA)集群之keepalived+lvs


二:keepalived

    Keepalived 是一个基于VRRP协议来实现的LVS服务高可用方案,可以利用其来避免单点故障。一个LVS服务会有2台服务器运行Keepalived,一台为主服务器(MASTER),一台为备份服务器(BACKUP),但是对外表现为一个虚拟IP,主服务器会发送特定的消息给备份服务器,当备份服务器收不到这个消息的时候,即主服务器宕机的时候, 备份服务器就会接管虚拟IP,继续提供服务,从而保证了高可用性。

    在路由器上配上静态路由就会产生单点故障,那该怎么办呢?VRRP就应用而生了,VRRP通过一竞选(election)协议来动态的将路由任务交给LAN中虚拟路由器中的某台VRRP路由器.

     VRRP工作原理, 在一个VRRP虚拟路由器中,有多台物理的VRRP路由器,但是这多台的物理的机器并不能同时工作,而是由一台称为MASTER的负责路由工作,其它的都是BACKUP,MASTER并非一成不变,VRRP让每个VRRP路由器参与竞选,最终获胜的就是MASTER。MASTER拥有一些特权,比如,拥有虚拟路由器的IP地址,我们的主机就是用这个IP地址作为静态路由的。拥有特权的MASTER要负责转发发送给网关地址的包和响应ARP请求。

       VRRP通过竞选协议来实现虚拟路由器的功能,所有的协议报文都是通过IP多播(multicast)包(多播地址224.0.0.18)形式发送的。虚拟路由器由VRID(范围0-255)和一组IP地址组成,对外表现为一个周知的MAC地址。所以,在一个虚拟路由 器中,不管谁是MASTER,对外都是相同的MAC和IP(称之为VIP)。客户端主机并不需要因为MASTER的改变而修改自己的路由配置,对客户端来说,这种主从的切换是透明的。

       在一个虚拟路由器中,只有作为MASTER的VRRP路由器会一直发送VRRP通告信息(VRRPAdvertisement message),BACKUP不会抢占MASTER,除非它的优先级(priority)更高。当MASTER不可用时(BACKUP收不到通告信息), 多台BACKUP中优先级最高的这台会被抢占为MASTER。这种抢占是非常快速的(<1s),以保证服务的连续性。由于安全性考虑,VRRP包使用了加密协议进行加密



三:为什么要用keepalived+lvs

  lvs是一个在四层上实现后端realserver的负载均衡的集群,lvs遗留下两个问题,一个是lvs的单点故障;第二个是lvs不能检测后端realserver的健康状态检查。

解决lvs的单点故障就用到了高可用集群:

①、可以是heartbeat+ldirectord这种重量级的;

②、可以是keepalived+lvs这种轻量级的解决方案。(本博客主要写keepalived+lvs轻量级的解决方案),

解决lvs不能检测后端realserver的健康状态也后很多种方法:

①、可以在lvs上写脚本ping后端realserver的ip地址,ping几次发现ip地址ping不通则在ipvs规则里面删除,当后端服务器可以ping了,则把后端realserver添加到ipvs规则里面。

②、可以在lvs上写脚本请求后端realserver的测试几次网页文件,查看状态码是否为200,不是则在ipvs规则里面清楚,当测试网页返回的状态吗是200之后,则把后端realserver添加到ipvs规则里面

③、以上两种方法都是依赖于脚本,keepalived的出现解决了不依赖于脚本,也可以对后端realserver的健康状态检查,keepalived的配置文件里面可以自行生成ipvs的规则,并且自行检测后端realserver的状态,当后端realserver不能提供服务了,keepalived会自行将其在ipvs规则里面删除,当后端realserver可以提供服务了,又自行的在ipvs规则里面添加。

三:配置keepalived实现HTTP高可用

1) 环境准备

CentOS 6.5 X86_64

ipvsadm.x86_64 0:1.25-10.el6                  

keepalived.x86_64 0:1.2.7-3.el6      

httpd-2.2.15-29.el6.centos.x86_64

2)试验拓扑图

Linux 高可用(HA)集群之keepalived+lvs

 试验拓扑图中VIP为172.16.16.7.节点node1为172.16.16.1,节点node2为172.16.16.5

3)配置master

vim /etc/keepalived/keepalived.confglobal_defs
 {
     notification_email
         {
           stu16@llh.com                    #接收邮件地址
         }
    notification_email_from kanotify@magedu.com  #发送邮件地址
    smtp_connect_timeout 3
    smtp_server 127.0.0.1
    router_id LVS_DEVEL
}
vrrp_script chk_mantaince_down {                           #定义检测机制
   script "[[ -f /etc/keepalived/down ]] && exit 1 || exit 0"
   interval 1     #每个多长时间检测一次
   weight -2      #当在/etc/keepalived/下创建一个down文件时执行下面的命令权重减2.
   fall     3     #从正常到失败检测几次完成 
   raise  3       #从失败到正常需要检测几次
   
}
vrrp_instance VI_1 {
interface eth1
state MASTER # BACKUP for slave routers          #当在被节点上修改为BACKUP
priority 101 # 100 for BACKUP                    #被节点的priority数值要小于主节点
virtual_router_id 16                             #主机routeID,
garp_master_delay 1                           
authentication {
auth_type PASS
auth_pass password                               #输入验证密码
}
track_interface {
eth0                                             #配置IP地址所在的网卡
}
virtual_ipaddress {
172.16.16.7/16 dev eth0 label eth0:0             #配置的IP地址
}
track_script {                                   #调用检测机制
chk_mantaince_down            
}
notify_master "/etc/rc.d/init.d/httpd start"     # 当成为master时就启动http服务
notify_backup "/etc/rc.d/init.d/httpd stop"      # 当成为backup时就关闭http服务
notify_fault "/etc/rc.d/init.d/httpd stop"
}

4)将配置文件同步到slave

scp /etc/keepalived/keepalived.conf root@172.16.16.5:/etc/keepalived/修改配置文件global_defs {     notification_email         {           stu16@llh.com                         #接收邮件地址         }    notification_email_from kanotify@magedu.com  #发送邮件地址    smtp_connect_timeout 3    smtp_server 127.0.0.1    router_id LVS_DEVEL}vrrp_script chk_mantaince_down {                           #定义检测机制   script "[[ -f /etc/keepalived/down ]] && exit 1 || exit 0"   interval 1     #每个多长时间检测一次   weight -2      #当在/etc/keepalived/下创建一个down文件时执行下面的命令权重减2.   fall     3     #从正常到失败检测几次完成    raise  3       #从失败到正常需要检测几次   }vrrp_instance VI_1 {interface eth1state BACKUP # BACKUP for slave routers          #此处修改为BACKUPpriority 100 # 100 for BACKUP                    #此处修改为100virtual_router_id 16                             #主机routeID,garp_master_delay 1                           authentication {auth_type PASSauth_pass password                               #输入验证密码}track_interface {eth0                                             #配置IP地址所在的网卡}virtual_ipaddress {172.16.16.7/16 dev eth0 label eth0:0             #配置的IP地址}track_script {                                   #调用检测机制chk_mantaince_down            }notify_master "/etc/rc.d/init.d/httpd start"     # 当成为master时就启动http服务notify_backup "/etc/rc.d/init.d/httpd stop"      # 当成为backup时就关闭http服务notify_fault "/etc/rc.d/init.d/httpd stop"}

5)启动keepalive

[root@node1 ~]# service keepalived start  正在启动 keepalived:                                      [确定][root@node2 ~]# service keepalived start  正在启动 keepalived:                                      [确定]

四:keepalive+lvs 实现LVS双主高可用

1)试验拓扑图

Linux 高可用(HA)集群之keepalived+lvs


2)配置RIP1服务

 因为RIP服务器配置的有VIP地址所以外面有请求VIP时他也会进行相应,而我们这里是为了实现DR转发,不能让他进行响应,我们需要对RIP的端口信息进行隐藏。echo 1 > /proc/sys/net/ipv4/conf/eth0/arp_ignore  #忽略其他端口发来的请求信息echo 2 > /proc/sys/net/ipv4/conf/eth0/arp_announce #不广播自己的端口信息echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignoreecho 2 > /proc/sys/net/ipv4/conf/all/arp_announce  ifconfig eth0 192.168.16.2/24 upifconfig lo:0 172.16.16.7 netmask 255.255.255.255 broadcast 172.16.16.7route add -host 172.16.16.7 dev lo:0  响应的信息通过lo:0端口 ,为了使响应的IP地址为VIifconfig lo:1 172.16.16.8 netmask 255.255.255.255 broadcast 172.16.16.8route add -host 172.16.16.8 dev lo:1

3)配置RIP2服务

echo 1 > /proc/sys/net/ipv4/conf/eth0/arp_ignore  #忽略其他端口发来的请求信息echo 2 > /proc/sys/net/ipv4/conf/eth0/arp_announce #不广播自己的端口信息echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignoreecho 2 > /proc/sys/net/ipv4/conf/all/arp_announce  ifconfig eth0 192.168.16.3/24 upifconfig lo:0 172.16.16.7 netmask 255.255.255.255 broadcast 172.16.16.7route add -host 172.16.16.7 dev lo:0  响应的信息通过lo:0端口 ,为了使响应的IP地址为VIifconfig lo:1 172.16.16.8 netmask 255.255.255.255 broadcast 172.16.16.8route add -host 172.16.16.8 dev lo:1

4)配置master

global_defs {    notification_email         {          linuxedu@foxmail.commageedu@126.com          }           notification_email_from kanotify@magedu.com           smtp_connect_timeout 3smtp_server 127.0.0.1           router_id LVS_DEVEL }vrrp_script chk_schedown  {       script "[[ -f /etc/keepalived/down ]] && exit 1 || exit 0"                                                             #创建down文件权重减2      interval 2      weight -2  }vrrp_instance VI_1 {         interface eth0                   state MASTER  #此节点为主节点                   priority 101                   virtual_router_id 51                    garp_master_delay 1                   authentication   {                auth_type PASS               auth_pass password                  } track_interface    {         eth0                              }  virtual_ipaddress    {        172.16.16.7/16 dev eth0 label eth0:0 #配置对外的VIP地址                               }  track_script     {          chk_schedown            } } vrrp_instance VI_2 {           interface eth0          state BACKUP           #此节点为被节点          priority 100          virtual_router_id 50           garp_master_delay 1authentication {                auth_type PASS         auth_pass 12345678                }track_interface {          eth0                          } virtual_ipaddress {             172.16.16.8/16 dev eth0 label eth0:1 #配置对外的VIP地址                              } track_script {                        chk_schedown                     } } virtual_server 172.16.16.7 80  #配置一个VIP 工作在TCP的80端口上  {                                    delay_loop 6 #lb_algo rr #负载均衡的调度算法    lb_kind DR #工作在DR模型上    persistence_timeout 50 #是否启用IPVS持久连接    protocol TCP  #采用的是TCP协议    # sorry_server 192.168.16.2 1358 #所有服务挂了 ,出现的提示页面.要在这台服务器上开启http服务 real_server 192.168.16.2 80      #后面RIP地址 {       weight 1 #权重      HTTP_GET       {          url               {                          path /                     status_code 200 #取得主页面的状态,状态码为200就意味着请求成功;也可写入md5码,但要制定静态码               }         connect_timeout 3 #每次测试3秒                 nb_get_retry 3 #测试次数                delay_before_retry 3 #测试失败在测试3次                               }  } real_server 192.168.16.3 80     {                       weight 1    HTTP_GET         {            url            {               path /              status_code 200                  }                 connect_timeout 3nb_get_retry 3delay_before_retry 3             }      } } virtual_server 172.16.16.8 80  #配置一个VIP 工作在TCP的80端口上  {                                       delay_loop 6 #       lb_algo rr #负载均衡的调度算法       lb_kind DR #工作在DR模型上       #persistence_timeout 50 #是否启用IPVS持久连接,这项要注销.连接50S才会切换       protocol TCP  #采用的是TCP协议       # sorry_server 192.168.16.2 1358 #所有服务挂了 ,出现的提示页面.要在这台服务器上开启http服务 real_server 192.168.16.2 80          #后面RIP地址 {     weight 1 #权重        HTTP_GET           {              url                   {                     path /                     status_code 200 #取得主页面的状态,状态码为200就意味着请求成功;也可写入md5码,但要制定静态码                    }                   connect_timeout 3 #每次测试3秒                    nb_get_retry 3 #测试次数                    delay_before_retry 3 #测试失败在测试3次             } } real_server 192.168.16.3 80   {               weight 1 HTTP_GET          {            url                {                   path /                  status_code 200                }                 connect_timeout 3                 nb_get_retry 3                 delay_before_retry 3          }   } }

5)配置backup

global_defs {    notification_email         {          linuxedu@foxmail.commageedu@126.com          }           notification_email_from kanotify@magedu.com           smtp_connect_timeout 3smtp_server 127.0.0.1           router_id LVS_DEVEL }vrrp_script chk_schedown  {     script "[[ -f /etc/keepalived/down ]] && exit 1 || exit 0"     #创建down文件权重减2     interval 2     weight -2  }vrrp_instance VI_1 {         interface eth0                   state BACKUP  #此节点为被节点                   priority 100                   virtual_router_id 51                    garp_master_delay  1                   authentication   {                auth_type PASS               auth_pass password                  } track_interface    {         eth0                              }  virtual_ipaddress    {        172.16.16.7/16 dev eth0 label eth0:0 #配置对外的VIP地址                               }  track_script           {               chk_schedown            } } vrrp_instance VI_2 {           interface eth0          state MASTER           #此节点为主节点          priority 101          virtual_router_id 50           garp_master_delay 1authentication {                         auth_type PASS                   auth_pass 12345678                }track_interface {                      eth0                 } virtual_ipaddress {             172.16.16.8/16 dev eth0 label eth0:1 #配置对外的VIP地址                              } track_script {                        chk_schedown                     } } virtual_server 172.16.16.7 80  #配置一个VIP 工作在TCP的80端口上  {                                    delay_loop 6 #lb_algo rr #负载均衡的调度算法    lb_kind DR #工作在DR模型上    persistence_timeout 50 #是否启用IPVS持久连接    protocol TCP  #采用的是TCP协议    # sorry_server 192.168.16.2 1358 #所有服务挂了 ,出现的提示页面.要在这台服务器上开启http服务     real_server 192.168.16.2 80      #后面RIP地址    {       weight 1 #权重      HTTP_GET       {          url               {                          path /                     status_code 200                }         connect_timeout 3                 nb_get_retry 3                 delay_before_retry 3                               }   } real_server 192.168.16.3 80     {                       weight 1    HTTP_GET         {            url            {               path /              status_code 200                  }                 connect_timeout 3nb_get_retry 3delay_before_retry 3             }      } } virtual_server 172.16.16.8 80  #配置一个VIP 工作在TCP的80端口上  {                                       delay_loop 6        lb_algo rr        lb_kind DR        #persistence_timeout 50         protocol TCP         # sorry_server 192.168.16.2 1358 real_server 192.168.16.2 80          #后面RIP地址 {         weight 1 #权重        HTTP_GET            {              url                   {                     path /                     status_code 200                    }                    connect_timeout 3 #每次测试3秒                    nb_get_retry 3 #测试次数                    delay_before_retry 3 #测试失败在测试3次             } } real_server 192.168.16.3 80   {               weight 1 HTTP_GET          {            url                {                   path /                  status_code 200                }                 connect_timeout 3                 nb_get_retry 3                 delay_before_retry 3          }   } }

5)启动keepalive

本文出自 “slayer” 博客,请务必保留此出处http://slayer.blog.51cto.com/4845839/1556734