写在前面
本文出处为:http://blog.csdn.net/tengyuantuohai/article/details/19639671,非常感谢这位老兄!!!
本文只用来做一个备份,以防不测。
正文
服务器的安装
我们会用到4个服务器,横向分2层:
第1层是LVS服务器(1个主,1个从;从可以多个)用来转发请求,需要安装ipvsadm和keepAlived;第2层是提供具体服务的服务器(表中用了2个;当然也可以是多个,现实的应用会上百台。),安装的是具体的服务,这里我们安装的是TOMCAT。
主机环境如下:
192.168.10.100 LVS_VIP(VIP:Virtual IP)
192.168.10.140 LVS_Master
192.168.10.141 LVS_Backup
192.168.10.142 WEB1_RealServer
192.168.10.143 WEB2_RealServer
克隆:我们先安装配置好一层的一个服务器,其他服务器使用克隆方式。
这里要说的是:克隆之后,需要修改一些配置文件,具体可百度。
LVS层安装LVS和KeepAlived
打开LVS_Master服务器;
先安装lvs_master的服务,lvs_backup使用克隆虚拟机的方式,然后在配置文件修改三个参数即可,下面会讲到。
只要按照如下步骤一步一步来,我敢肯定一次成功!
1)开启刚刚建好的虚拟机,此时应该已经设置好系统的登录账号和密码了。好的,登录系统,打开终端:
安装IPVSADM
知识点:IPVSADM理解为IPVS管理工具;LVS(Linux Virtual Server)的核心为IPVS(IP Virtual Server),从Linux内核版本2.6起,IPVS模块已经编译进了Linux内核。
使用yum命令进行安装,系统会选择最适合内核版本的ipvsadm
yum -y install ipvsadm
防火墙
为了测试方便,我们直接关闭防火墙,在实际使用中开启需要的端口即可(具体配置可参考:http://www.cnblogs.com/rockee/archive/2012/05/17/2506671.html)
service iptables stop
KeepAlived 的安装
知识点:KeepAlived是一个路由软件,它主要的目的是让我们通过简单的配置,实现高可用负载均衡,当然负载均衡依赖于Linux虚拟服务器(IPVS)的内核模块,其高可用性使用VRRP协议来实现,KeepAlived不仅会检测负载均衡服务器池中每台机器的健康状况并通知IPVS将非健康的机器从池中移除掉;同时它还能对负载均衡调度器本身实现健康状态检查,当主负载均衡调度器出现问题时,备用负载均衡调度器顶替主进行工作。
逐条执行如下命令,执行的原因暂不解释,实际就是需要这些组件,安装即可。
cd /usr/src
yum -y install openssl-devel
wget http://www.keepalived.org/software/keepalived-1.2.7.tar.gz
#下面这句可能会有问题,可以先这样:yum list |grep popt*
#再出来的结果中选择安装 popt-static,组中效果是一样的
wget http://mirror.centos.org/centos/6/os/x86_64/Packages/popt-static-1.13-7.el6.x86_64.rpm
yum -y install popt-static-1.13-7.el6.x86_64.rpm
yum -y install kernel-devel make gcc openssl-devel libnl* popt*
ln -s /usr/src/kernels/2.6.32-220.13.1.el6.x86_64/ /usr/src/linux
tar zxvf keepalived-1.2.7.tar.gz
cd keepalived-1.2.7
./configure --with-kernel-dir=/usr/src/kernels/2.6.32-358.2.1.el6.x86_64/
执行完最后一条时,终端应该显示为下图这样,如果不是请不要继续,自己返回来看下有没有哪里执行有误;
如果是上图这样,恭喜你已经成功了一大半,剩下的就简单了!
继续执行
make && make install
cp /usr/local/etc/rc.d/init.d/keepalived /etc/rc.d/init.d/
cp /usr/local/etc/sysconfig/keepalived /etc/sysconfig/
mkdir /etc/keepalived
cp /usr/local/etc/keepalived/keepalived.conf /etc/keepalived/
cp /usr/local/sbin/keepalived /usr/sbin/
OK,KeepAlived安装完毕,然后进行配置。
KeepAlivde的配置
The First:打开IP Forward 功能(LVS现有三种负载均衡规则都需要打开此功能,如果不打开此功能,下面的配置配得再好都无济于事。)
yum -y install vim
vim /etc/sysctl.conf
打开后修改里面“net.ipv4.ip_forward = 1”,结果如下图:
(修改常用命令:i键表示要插入修改,修改好后摁ESC,然后输入”:wq”,保存退出,其他命令参考:http://www.cnblogs.com/zhanglong0426/archive/2010/10/07/1845268.html)
修改好后保存退出,执行如下命令使设置立即生效
sysctl -p
第二步:KeepAlivde的配置
配置文件在这个位置: /etc/keepalived/keepalived.conf
启动KeepAlived时,它默认会去/etc/keepalived下面找它的配置文件,所以上面命令中我们已经将这个配置文件复制过来了。现在进行修改:
vim /etc/keepalived/keepalived.conf
具体的参数详情请参考:http://zhumeng8337797.blog.163.com/blog/static/100768914201191762253640/
下面是我配置好的文件内容
! Configuration File for keepalived
global_defs {
notification_email {
test@sina.com
}
notification_email_from admin@test.com
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id LVS_MASTER
}
vrrp_instance VI_1 {
state MASTER
##注意这里,根据实际情况更改
interface eth1
##注意:在BACKUP LVS上,要和这里的virtual_router_id一致
virtual_router_id 60
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.10.100
}
}
virtual_server 192.168.10.100 8080 {
delay_loop 6
lb_algo rr
lb_kind DR
nat_mask 255.255.255.0
persistence_timeout 50
protocol TCP
real_server 192.168.10.142 8080 {
weight 1
##注意:TCP_CHECK后面有一个空格
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
real_server 192.168.10.143 8080 {
weight 1
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
}
以上就完成了keepAlived的配置,下面进行启动
chkconfig keepalived on
service keepalived start
查看进程
ps aux | grep keepalived
结果如图
Keepalived正常运行时,共启动3个进程,其中一个进程是父进程,负责监控其子进程;一个是vrrp子进程;另外一个是checkers子进程。
如果此时只看到2个进程,请从安装keepalived的步骤重新执行。
查看下虚拟IP是否已经加上(重要)
ip a
如图:
说明虚拟IP已经自动配置上了。
还有3个命令在先列示下,并不用执行
显示集群中服务器ip信息:ipvsadm -ln
查看日志:tail -f /var/log/messages
查看请求转发情况:ipvsadm -lcn | grep 虚拟IP
7)至此,LVS_MASTER服务器已经配置好并启动了,接下来我们配置web服务器。
WEB服务器WEB1_RealServer的配置
1)打开虚拟机WEB1_RealServer;
2)配置虚拟IP启动脚本
yum -y install vim
vim /etc/init.d/realserver.sh
在文件中输入如下脚本:
#!/bin/bash
SNS_VIP=192.168.10.100
. /etc/rc.d/init.d/functions
case "$1" in
start)
ifconfig lo:0 $SNS_VIP netmask 255.255.255.255 broadcast $SNS_VIP
/sbin/route add -host $SNS_VIP dev lo:0
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
sysctl -p >/dev/null 2>&1
echo "RealServer Start OK"
;;
stop)
ifconfig lo:0 down
route del $SNS_VIP >/dev/null 2>&1
echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce
echo "RealServer Stoped"
;;
*)
echo "Usage: $0 {start|stop}"
exit 1
esac
exit 0
3)安装配置TOMCAT
我测试用的是TOMCAT6
yum -y install tomcat6 tomcat6-webapps tomcat6-admin-webapps
chkconfig tomcat6 on
service tomcat6 start
启动之后:
关闭防火墙:
service iptables stop
打开浏览器:http://192.168.10.142:8080
会看到TOMCAT的熟悉页面了。
为了测试负载均衡,我们将这个页面改下,以更好的标识这个网页是本服务器的
Tomcat6安装目录位于/usr/share/tomcat6,所以我们要编辑tomcat下的webapps/ROOT/index.html这个文件。
cd /usr/share/tomcat6/webapps/ROOT/
cat /dev/null > index.html
vim index.html
将如下文本写入index.html,然后打开浏览器:http://192.168.10.142:8080,已经改变:
web1 192.168.10.142
4)启动虚拟IP的脚本
sh /etc/init.d/realserver.sh start
ifconfig
运行后会看到网络有了一个虚拟IP,如图:
5)去LVS_MASTER服务器的终端查看下ipvsadm,查看已经连接上了WEB1服务器,运行命令
ipvsadm -ln
结果如图:
已经可以看到有服务器加入进来了。
此时我们访问网页http://192.168.10.100,出现界面显示web1 192.168.10.142;或者使用命令行测试转发情况,如下:
ipvsadm -lcn | grep 192.168.10.100
运行结果:
OK,至此已经能实现负载均衡了,接下来我们通过克隆实现多个主机的试验。
服务器克隆
1)从LVS_MASTER克隆一个LVS_BACKUP服务器,然后修改其中的参数,MASTER与BACKUP配置仅三处不同:global_defs中的router_id、vrrp_instance中的state、priority
(注意keepAlived的配置文件中有一个网卡设备,虚拟机的网卡设备可能是不一样的,有的是eth0,有的是eth1,所以也是要改动的,否则从服务器的服务器很有可能服务不正常)
配置好的如下文:
! Configuration File for keepalived
global_defs {
notification_email {
test@sina.com
}
notification_email_from admin@test.com
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id LVS_BACKUP
}
vrrp_instance VI_1 {
state BACKUP
interface eth2
virtual_router_id 60
priority 90
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.10.100
}
}
virtual_server 192.168.10.100 8080 {
delay_loop 6
lb_algo rr
lb_kind DR
nat_mask 255.255.255.0
persistence_timeout 50
protocol TCP
real_server 192.168.10.142 8080 {
weight 1
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
real_server 192.168.10.143 8080 {
weight 1
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
}
2)从WEB1_RealServer克隆一个WEB2_RealServer,将tomcat的index.html文件改为web2 192.168.10.143。(这里的IP是我测试的,您的可以自定义)
启动realserver.sh脚本。
3)OK,至此我们已经虚拟出2个LVS服务器,一对主从;2个WEB服务器,web1和web2。接下来我们进行测试,看能否满足我们的初始需求。
三、负载和可用性测试
开启每个服务器的相关服务,关闭防火墙,我们开始进行测试。
1、测试LVS层
1)首先执行ip a命令,主服务器会存在一个虚拟IP,从服务器不会存在这个虚拟IP。现在浏览网页显示正常。虚拟IP如图所示:
显示集群中服务器ip信息:ipvsadm -ln
查看日志:tail -f /var/log/messages
查看请求转发情况:ipvsadm -lcn | grep 虚拟IP
LVS_MASTER中的IP信息
LVS_BACKUP服务器的IP信息
2)现在停掉LVS_MASTER的keepAlived服务,看LVS_BACKUP是否可以自动加上虚拟IP地址,并且开始转发请求。
(注意keepAlived的配置文件中有一个网卡设备,虚拟机的网卡设备可能是不一样的,有的是eth0,有的是eth1,所以也是要改动的,否则从服务器的服务器很有可能服务不正常)
LVS_MASTER如图:
LVS_BACKUP服务器截图:
切换很快,访问网页:http://192.168.10.100:8080也能正常显示。
3)、恢复主服务器的keepAlived服务后,主服务器立刻接替了从服务器的工作,就不做截图了。和第1)个正常效果是一样的。
4)、测试WEB服务器,看能否正常提供服务。先断掉WEB1,看下效果。
ipvsadm中的服务器列表,已经去掉了WEB1服务器,访问网页也只能访问到WEB2服务器了。
5)开启WEB1,关掉WEB2。测试正常。
四、总结
经过不断的测试,终于完成了这篇稿子,望大家能够指正。还有一点就是很多时候都是配置文件中的一些小毛病造成的,比如:
1、keepAlived中的通知邮箱好像必须要写,否则不正确;
2、keepAlived中的网卡设备要注意,按照服务器的实际情况填写;
3、使用时,必要的端口要打开,或者关掉防火墙。否则有事不提供服务;
4、一些命令行的执行,少一些参数执行就可能会有一些问题。
5、LINUX系统的目录结构也头疼,要不断的熟悉,否则也让你故意弄混了。
好了,大家如果有什么建议或者问题,欢迎留言。