LVS是Linux Virtual Server的简写,意即Linux虚拟服务器,是一个虚拟的服务器集群系统。本项目由章文嵩博士在1998年5月创立,是中国国内最早出现的*软件项目之一。其作用是实现LB(Load Balance)将大量的并发访问或数据流量分担到多台节点设备上分别处理,减少用户等待响应的时间;将单个重负载的运算分担到多台节点设备上做并行处理,每个节点设备处理结束后,将结果汇总,返回给用户,系统处理能力得到大幅度提高。
HA(High Avalibaility)高可用性,即双机热备的方式保证服务的高可用性。
本文高可用负载均衡集群解决方案,是在LVS实现负载均衡的基础之上,采用双机热备director来保证lvs个高可用性,并通过heartbeat实时监听主director的运行状态,另外使用ldirectord实时监测director后端Real Server的健康状态,将不能正常提供服务的主机离线。
整套方案拓扑架构如图:
下面开始详述实现步骤:
一、两台Real Server:RS1、RS2的配置
初始化步骤:配置ip地址、主机名、yum源等不在赘述
- echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
- echo 2> /proc/sys/net/ipv4/conf/lo/arp_announce
- echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
- echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
- #定义内核参数,禁止real server响应ARP广播请求
Ps:由于使用DR模型故要屏蔽arp对后端realserver的解析
- ifconfig lo:0 192.168.0.123 broadcast 192.168.0.123 netmask 255.255.255.255 up
- #在回环端口配置对外通信的VIP,并锁定其广播域
- route add -host 192.168.0.123 dev lo:0
- #配置主机路由,使之对外发送数据包均使用VIP
- yum install -y httpd
- #安装安装web服务
- service httpd start
- echo '<h>Real Server 1</h>' > /var/www/html/index.html
- #添加real server测试页面
- mkdir /var/www/html/test/
- echo 'ok' > /var/www/html/test/index.html
- #为ldirectord提供检测页面
- service httpd start
Ps:这里仅以RS1为实例进行说明,RS2同此法操作。
二、高可用HA director节点的配置
初始化步骤:配置ip、yum源等。
Ps:两台director节点都使用双网卡,eth0与real server同网段,eth1使用网卡直连用于传输心跳信号。
- vim /etc/hosts
- 192.168.0.71 node1.a.org node1
- 192.168.0.72 node2.a.org node1
- #用于实现两台director节点间域名解析,此操作node1、node2相同
- vim /etc/sysconfig/network
- #设置主机名
- hostname node1.a.org
- #修改主机名使之立即生效
使heartbeat信息加密传输
- ssh-keygen -t rsa
- #生成密钥
- ssh-copy-id -i .ssh/id_rsa.pub root@node2.a.org
- #将公钥复制给node2
- ssh node2 -- ‘ifconfig’
- #执行命令测试,此时应该显示node2的ip信息
安装heartbeat
- cd heartbeat
- yum localinstall -y --nogpgcheck ./*
- #安装此目录中的所有rpm包
- cd /usr/share/doc/heartbeat-2.1.4
- cp authkeys /etc/ha.d/
- cp haresources /etc/ha.d/
- cp ha.cf /etc/ha.d/
- #拷贝heartbeat所需配置文件到指定目录下
- vim /etc/ha.d/ha.cf
- bcast eth1
- #定义心跳信息从那一块网卡传输
- node node1.a.org
- node node2.a.org
- #添加这两行,用于指明心跳信号传输范围
- vim /etc/ha.d/authkeys
- auth 2
- 2 sha1 [键入随机数]
- chmod 400 authkeys
- #保存退出并修改权限400
- vim /etc/ha.d/haresource
- node1.a.org 192.168.0.123/24/eth0/192.168.0.255 ldirectord::ldirectord.cf httpd
- #末行添加主节点域名,vip资源,广播地址,ldirectord资源,以及用户提供显示错误页面的httpd资源
同步配置文件到node2
- /usr/lib/heartbeat/ha_propagate
- #脚本用来同步ha.cf和authkeys文件到node2
- scp haresources node2:/etc/ha.d/
- #复制haresource到nod2
配置ldirectord,同步配置文件
- cp /usr/share/doc/heartbeat-ldirectord-2.1.4/ldirectord.cf /etc/ha.d/ldirectord.cf
- #复制ldirector的配置文件
内容如下配置
- checktimeout=3
- #当DR收不到realserver的回应,设定几秒后判定realserver当机或挂掉了,预设5秒。
- checkinterval=1
- #查询间隔,每个几秒侦测一次realserver
- autoreload=yes
- #配置文件发生改变是否自动重读
- quiescent=yes
- #静态链接,yes:表示侦测realserver宕机,将其权值至零(如果开启了persistent参数不要用yes);no:表示侦测到宕机realserver,随即将其对应条目从ipvsadm中删除。
- virtual=192.168.0.123:80
- real=192.168.0.51:80 gate 4
- real=192.168.0.52:80 gate 2
- fallback=127.0.0.1:80 gate #realserver全部失败,vip指向本机80端口。
- service=http
- request="test/index.html" #用于健康检测的url
- receive="ok" #用于健康检测的url包含的关键字
- scheduler=wlc
- #persistent=600
- #持久链接:表示600s之内同意ip将访问同一台realserver
- protocol=tcp
- checktype=negotiate
- #检查类型:negotiate,表示DR发送请求,realserver恢复特定字符串才表示服务正常;connect,表示DR能够连线realserver即正常。
- checkport=80
启动两个节点上的heartbeat
- service heartbeat start
- ssh node2 -- 'service heartbeat start'
- #启动两节点heartbeat服务
Ps:ldirectord同vip一样是DR节点争夺的资源,由heartbeart启动
tail -f /var/log/messages
应出现:heartbeat: info: Running /etc/ha.d/resource.d/ldirectord ldirectord.cf start
ip、ldirectord和httpd资源被主节点成功启动
或查看ipvsadm -ln
在主节点上安装httpd服务,并创建测试页
- yum install -y httpd
- #安装安装web服务
- echo '<h2>sorry, web service is down, please try again later...</h2>' > /var/www/html/index.html
- #node1上添加报错提示
- echo 'sorry, web service is down, please try again later...' > /var/www/html/index.html
- #node2上添加报错提示,此处字体不同以示区别
三、测试
使用浏览器访问web页面,多次刷新RS1和RS2都能访问到
ab测试wlc算法的负载均衡
关闭node1上的heartbeat模拟主节点宕机,并进行ab测试,node2上查看ipvsadm
依旧能够从备份DR节点node2访问web服务并实现负载均衡
重启node1上heartbeat,关闭RS1的httpd服务,查看ipvsadm
idirectord立即检测到,并将RS1的权值至0
继续关闭RS2的httpd服务,查看ipvsadm
RS2权值至0,本地权值至1
刷新浏览器页面
主节点node1 web服务反馈realserver宕机提示信息
此时关闭node1上heartbeat,刷新页面
备份节点node2 web服务反馈realserver宕机提示信息
至此LVS+heartbeat+ldirectord高可用负载均衡集群解决方案的实现流程已叙述完毕,以上内容在您实现过程中出现的任何问题,欢迎在此交流;并请各位高手前辈大神达人予以批评指正,谢谢!
本文出自 “ 远 �r ” 博客,请务必保留此出处http://evolution.blog.51cto.com/3343305/662639