Keepalived 配置实例

时间:2023-03-08 15:34:19
Keepalived 配置实例

Keepalived 是一款轻量级HA集群应用,它的设计初衷是为了做LVS集群的HA,即探测LVS健康情况,从而进行主备切换,不仅如此,还能够探测LVS代理的后端主机的健康状况,动态修改LVS转发规则。

   当LVS进行主备切换的时候,对外提供服务的IP是如何做到切换的呢?这就依赖于keepalived 所应用的vrrp协议,即Virtual Reduntant  Routing Protocol,虚拟冗余路由协议。简单来讲,此协议是将IP设置在虚拟接口之上,根据一定的规则实现IP在物理主机上流动,即哪台主机可以占有该IP。

   而且keepalived具有脚本调用接口,可通过脚本完成拓展功能。

  1.Keepalived

术语:

虚拟路由器:Virtual Router 
虚拟路由器标识:VRID(0-255)
物理路由器:
master:主设备
backup:备用设备
priority:优先级
VIP:Virtual IP 
VMAC:Virutal MAC (00-00-5e-00-01-VRID)
通告内容:心跳,优先级等;周期性;
各主机通告以组播方式通信,只向组内的主机发送数据包,因为按照组播的mac地址发送,组播mac地址是和组播ip地址对应的。iana(internet assigned number authority)规定,组播mac地址的高24bit为0x01005e,mac 地址的低23bit为组播ip地址的低23bit。相应地网卡需要设置支持multicast。
抢占式,非抢占式;

默认为抢占式。当优先级高的主机恢复正常状态时,将夺回IP,重新成为MASTER。

安全认证:
无认证
简单字符认证   #一般采用此方式
MD5
工作模式:
主/备:单虚拟路径器;
主/主:主/备(虚拟路径器1),备/主(虚拟路径器2)
假定两台主机A和B做HA,可以做两个虚拟接口,流动2个IP。接口1中,A设备优先级设定高,为MASTER;接口2种,B设备优先级高,为MASTER。

这样两台主机,能通过两个对外IP同时工作。即主主模式。

组件:

核心组件:
vrrp stack
ipvs wrapper
checkers
控制组件:配置文件分析器
IO复用器
内存管理组件

HA Cluster的配置前提:

(1) 各节点时间必须同步;
(2) 确保iptables及selinux不会成为阻碍;

2.Keepalived配置前需要了解的事

本文演示的环境为centos7.2。keepalived软件安装,配置好yum源,软件包已在base仓库中收录。

# yum install keepalived           安装即可

程序环境:

网卡支持multicast
配置文件:/etc/keepalived/keepalived.conf
主程序:/usr/sbin/keepalived
Unit File:keepalived.service

配置文件组件部分:

通用的配置结构 

TOP HIERACHY

GLOBAL CONFIGURATION
Global definitions
Static routes/addresses
VRRPD CONFIGURATION
VRRP synchronization group(s)
VRRP instance(s)
LVS CONFIGURATION
Virtual server group(s)
Virtual server(s)

配置语法:

配置虚拟路由器:实现IP流动的部分
vrrp_instance <STRING> {
....
}
专用参数:
state MASTER|BACKUP:当前节点在此虚拟路由器上的初始状态;只能有一个是MASTER,余下的都应该为BACKUP;
interface IFACE_NAME:绑定为当前虚拟路由器使用的物理接口;
virtual_router_id VRID:当前虚拟路由器的惟一标识,范围是0-255;
priority 100:当前主机在此虚拟路径器中的优先级;范围1-254;
advert_int 1:vrrp通告的时间间隔;
authentication {
auth_type AH|PASS
auth_pass <PASSWORD>
}
virtual_ipaddress {
<IPADDR>/<MASK> brd <IPADDR> dev <STRING> scope <SCOPE> label <LABEL>
192.168.200.17/24 dev eth1
192.168.200.18/24 dev eth2 label eth2:1
}
track_interface {
eth0
eth1
...
}
配置要监控的网络接口,一旦接口出现故障,则转为FAULT状态;
nopreempt:定义工作模式为非抢占模式;
preempt_delay 300:抢占式模式下,节点上线后触发新选举操作的延迟时长;
定义通知脚本:
notify_master <STRING>|<QUOTED-STRING>:当前节点成为主节点时触发的脚本;
notify_backup <STRING>|<QUOTED-STRING>:当前节点转为备节点时触发的脚本;
notify_fault <STRING>|<QUOTED-STRING>:当前节点转为“失败”状态时触发的脚本;
notify <STRING>|<QUOTED-STRING>:通用格式的通知触发机制,一个脚本可完成以上三种状态的转换时的通知;

3.Keepalived 双主虚拟路由配置实例

演示前说明: 

2台centos7.2 主机:node-00,node-01

VIP1:10.1.38.19预定node-00占有

VIP2:10.1.38.20 预定node-01占有

2台主机安装好keepalived之后,开始编辑配置文件

node-00的配置如下

! Configuration File for keepalived

global_defs {
notification_email {
root@localhost
}
notification_email_from keepalived@localhost #定义来信人
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id node-00
vrrp_mcast_group4 224.0.38.12
} vrrp_instance VI_1 {
state MASTER
interface team0
virtual_router_id 38
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass x1er44q
}
virtual_ipaddress {
10.1.38.19/16 dev team0
} smtp_alert #状态切换,使用邮件通知
} vrrp_instance VI_2 {
state BACKUP
interface team0
virtual_router_id 39
priority 97
advert_int 1
authentication {
auth_type PASS
auth_pass x1er44q
}
virtual_ipaddress {
10.1.38.20/16 dev team0
}
smtp_alert
}

复制要把备注删掉

node-01配置如下

! Configuration File for keepalived

global_defs {
notification_email {
root@localhost
}
notification_email_from keepalived@localhost
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id node-01
vrrp_mcast_group4 224.0.38.12
} vrrp_instance VI_1 {
state BACKUP
interface bond0
virtual_router_id 38
priority 97
advert_int 1
authentication {
auth_type PASS
auth_pass x1er44q
}
virtual_ipaddress {
10.1.38.19/16 dev bond0
}
smtp_alert
} vrrp_instance VI_2 {
state MASTER
interface bond0
virtual_router_id 39
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass x1er44q
}
virtual_ipaddress {
10.1.38.20/16 dev bond0
}
smtp_alert
}

配置完成后,启动服务

#systemctl start keepalived

使用ip命令查看ip地址情况

#ip address show

node-00情况

Keepalived 配置实例

node-01情况

Keepalived 配置实例

此时,我们模拟node-00宕机,将node-00的keepalived服务停掉,那么10.1.38.19此ip会流动到node-01上

#systemctl stop keepalived

Keepalived 配置实例

至此此部分演示完毕。

4.Keepalived ipvs 高可用集群配置实例

同样先科普的配置说明

虚拟服务器:
配置结构:
  virtual_server IP port 或者virtual_server fwmark int 
  {
    ...
    real_server {
      ...
    }
    ...
  }

常用参数:
  delay_loop <INT>:服务轮询的时间间隔;
  lb_algo rr|wrr|lc|wlc|lblc|sh|dh:定义调度方法;
  lb_kind NAT|DR|TUN:集群的类型;
  persistence_timeout <INT>:定向调度时长;
  protocol TCP:服务协议,仅支持TCP;
  sorry_server <IPADDR> <PORT>:备用服务器地址;当后端主机都失败时,由此主机提供友好提示页面。
  real_server <IPADDR> <PORT>  
  {
    weight <INT>
    notify_up <STRING>|<QUOTED-STRING>
    notify_down <STRING>|<QUOTED-STRING>
    HTTP_GET|SSL_GET|TCP_CHECK|SMTP_CHECK|MISC_CHECK { ... }:定义当前主机的健康状态检测方法;
  }

  HTTP_GET|SSL_GET {
    url {
        path <URL_PATH>:定义要监控的URL;
        status_code <INT>:判断上述检测机制为健康状态的响应码;
        digest <STRING>:判断上述检测机制为健康状态的响应的内容的校验码;
    }
    nb_get_retry <INT>:重试次数;
    delay_before_retry <INT>:重试之前的延迟时长;
    connect_ip <IP ADDRESS>:向当前RS的哪个IP地址发起健康状态检测请求
    connect_port <PORT>:向当前RS的哪个PORT发起健康状态检测请求
    bindto <IP ADDRESS>:发出健康状态检测请求时使用的源地址;
    bind_port <PORT>:发出健康状态检测请求时使用的源端口;
    connect_timeout <INTEGER>:连接请求的超时时长;
  }

  TCP_CHECK {
    connect_ip <IP ADDRESS>:向当前RS的哪个IP地址发起健康状态检测请求
    connect_port <PORT>:向当前RS的哪个PORT发起健康状态检测请求
    bindto <IP ADDRESS>:发出健康状态检测请求时使用的源地址;
    bind_port <PORT>:发出健康状态检测请求时使用的源端口;
    connect_timeout <INTEGER>:连接请求的超时时长;
  }

开始演示实例

演示说明:

  node-00,node-01 作为ipvs主机,做HA。对外服务IP为10.1.38.15,即VIP。

  node-02,node-03 作为后端主机,提供web服务。

  node-02 IP:10.1.38.13

  node-03 IP:10.1.38.14

node-00配置如下

! Configuration File for keepalived

global_defs {
notification_email {
root@localhost
}
notification_email_from keepalived@localhost
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id node-00
vrrp_mcast_group4 224.0.38.12
} vrrp_instance VI_1 {
state MASTER
interface team0
virtual_router_id 38
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass x1er44q
}
virtual_ipaddress {
10.1.38.15/16 dev team0
} smtp_alert
}
virtual_server 10.1.38.15 80 {
delay_loop 3
lb_algo rr
lb_kind DR
protocol TCP sorry_server 127.0.0.1 80 real_server 10.1.38.13 80 {
weight 1
HTTP_GET {
url {
path /
status_code 200
}
connect_timeout 1
nb_get_retry 3
delay_before_retry 1
}
}
real_server 10.1.38.14 80 {
weight 1
HTTP_GET {
url {
path /
status_code 200
}
connect_timeout 1
nb_get_retry 3
delay_before_retry 1
}
}
}

node-01 配置如下

! Configuration File for keepalived

global_defs {
notification_email {
root@localhost
}
notification_email_from keepalived@localhost
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id node-01
vrrp_mcast_group4 224.0.38.12
} vrrp_instance VI_1 {
state BACKUP
interface bond0
virtual_router_id 38
priority 97
advert_int 1
authentication {
auth_type PASS
auth_pass x1er44q
}
virtual_ipaddress {
10.1.38.15/16 dev bond0
} smtp_alert
}
virtual_server 10.1.38.15 80 {
delay_loop 3
lb_algo rr
lb_kind DR
protocol TCP sorry_server 127.0.0.1 80 real_server 10.1.38.13 80 {
weight 1
HTTP_GET {
url {
path /
status_code 200
}
connect_timeout 1
nb_get_retry 3
delay_before_retry 1
}
}
real_server 10.1.38.14 80 {
weight 1
HTTP_GET {
url {
path /
status_code 200
}
connect_timeout 1
nb_get_retry 3
delay_before_retry 1
}
}
}

两台后端主机做好lvs  dr模式集群设置,并开启web服务。启动ipvs两台主机keepalived服务。

一切正常情况下,此时node-00拥有VIP,使用其他主机来访问 10.1.38.15

测试1:

#for i in {1..6};do curl 10.1.38.15;done

Keepalived 配置实例

  轮询调度正常。

  测试2:

  停掉node-00 keepalived服务,模拟宕机,测试冗余性

  正常结果还是正常轮询的。

  测试3:

  两台ipvs主机正常运行,停掉node-02上web服务,模拟后端主机宕机,测试keepalived动态调整后端主机列表功能

  Keepalived 配置实例

  测试结果,前端调度器只将服务调度至node-03上。

  再将node-02 web服务启动,再测试

  Keepalived 配置实例

  结果显示恢复正常轮询,至此keepalived动态调整能力测试完毕。

  其实以上结果,再ipvs主机直接查看lvs规则也可看出

  #ipvsadm -Ln

5.Keepalived 做nginx 高可用集群配置实例

再学习一个新知识,脚本调用

  keepalived调用外部的辅助脚本进行资源监控,并根据监控的结果状态能实现优先动态调整;   

  分两步:(1) 先定义一个脚本;(2) 调用此脚本;

  vrrp_script <SCRIPT_NAME> {
    script ""     #定义一个判定语句,如果退出状态码为非0,则执行减优先级操作。
    interval INT     #测试间隔
    weight -INT        #降低优先级,是其释放VIP所有权
  }

  track_script {
    SCRIPT_NAME_1 #检测的脚本列表
    SCRIPT_NAME_2
    ...
  }

开始演示实例

演示说明:

node-00,node-01 为nginx服务器,代理后端web服务器,使用keepalived做HA集群。

node-02,node-03 为后端web服务器。

node-00配置如下

! Configuration File for keepalived

global_defs {
notification_email {
root@localhost
}
notification_email_from keepalived@localhost
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id node-00
vrrp_mcast_group4 224.0.38.12
} vrrp_script check_ngx { #脚本在引用前定义好
script "killall -0 nginx "  #探测nginx服务是否正常
interval 1
weight -5
}
vrrp_instance VI_1 {
state MASTER
interface team0
virtual_router_id 38
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass x1er44q
}
virtual_ipaddress {
10.1.38.15/16 dev team0
}
track_script {  #在路由实例中引用自定义脚本
check_ngx
}
smtp_alert
}

node-01配置如下

! Configuration File for keepalived

global_defs {
notification_email {
root@localhost
}
notification_email_from keepalived@localhost
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id node-01
vrrp_mcast_group4 224.0.38.12
} vrrp_script check_ngx {
script "killall -0 nginx"
interval 1
weight -5
}
vrrp_instance VI_1 {
state BACKUP
interface bond0
virtual_router_id 38
priority 97
advert_int 1
authentication {
auth_type PASS
auth_pass x1er44q
}
virtual_ipaddress {
10.1.38.15/16 dev bond0
}
track_script {
check_ngx
}
smtp_alert
}

node-00,node-01 启动nginx服务,并已设置好代理两台后端web服务器;启动keepalived 服务。

node-02,node-03 启动web服务。

如果配置正确,会有以下结果。

测试1:使用另一台主机访问VIP,轮询响应结果正常,VIP在node-00。

测试2:停止node-00 nginx服务,模拟nginx服务异常,访问VIP,轮询响应结果正常,VIP在node-01。

测试3:恢复node-00 nginx 服务,VIP 流动回 node-00上。

完~