lvs + keepalived + gninx 高性能负载均衡

时间:2021-03-30 03:07:00

1,nginx 作为负载均衡器,在应用层实现了负载均衡和反向代理,在分布式集群中,能够有效的去处理大数据量,高访问的应用。但是,如果nginx 服务挂了怎么办?  

      为此,可以实现两台nginx或者多台nginx服务器,也就是双机主从热备,或者多机多主多从。当主nginx(master)挂了之后,备机器(backup)顶上。

      主nginx 和备nginx 由谁来控制?lvs

      主nginx 和备nginx 都挂了怎么办?keepalived

 

 2,lvs + keepalived + gninx

    lvs 简介:

    LVS是一个开源的软件,可以实现传输层四层负载均衡。LVS是Linux Virtual Server的缩写,意思是Linux虚拟服务器。目前有三种IP负载均衡技术(VS/NAT、VS/TUN和VS/DR);八种调度算法(rr,wrr,lc,wlc,lblc,lblcr,dh,sh)。

    LVS 在linux 2.6 之后,已经嵌入到Linux 内核之中,所以不需要单独安装

    虚拟ip

 

    keepalived:

    keepalived是一个类似于Layer2,4,7交换机制的软件。是Linux集群管理中保证集群高可用的一个服务软件,其功能是用来防止单点故障。

    keepalived的工作原理:

    keepalived是基于VRRP协议实现的保证集群高可用的一个服务软件,主要功能是实现真机的故障隔离和负载均衡器间的失败切换,防止单点故障

    VRRP原理:https://www.cnblogs.com/pickKnow/p/11236532.html

 

3,搭建

 lvs + keepalived + gninx 高性能负载均衡

  实现效果,本地开启服务192.168.178.1:8080 ,192.168.178.1:8081 ,由主的nignx 服务器分发,192.168.178.1:8082,192.168.178.1:8083 由备用的nignx 服务器分发

                     nginx 集群:192.168.178.115(MASTER),192.168.178.110(BACKUP),由lvs+ keepalived 分发,nginx 的主次是由keepalived 服务决定的

                     Keepalived高可用服务对之间的故障切换转移,是通过VRRP来实现的。在keepalived服务工作时,主Master节点会不断地向备节点发送(多播的方式)心跳消息,

                    用来告诉备Backup节点自己还活着。当主节点发生故障时,就无法发送心跳的消息了,备节点也因此无法继续检测到来自主节点的心跳了。

                    于是就会调 用自身的接管程序,接管主节点的IP资源和服务。当主节点恢复时,备节点又会释放主节点故障时自身接管的IP资源和服务,恢复到原来的备用角色。

                     默认情况下,是由主的nginx 分发至web 集群(8080.8081),当主nginx服务宕机之后,自动切换到备机。

 

step 1: 本地开启了四个服务192.168.178.1:8080 ,192.168.178.1:8081,192.168.178.1:8082,192.168.178.1:8083

step2: linux 两台机器分别是192.168.178.115 (master) 192.168.178.110 (backup),虚拟vip 192.168.178.116

step3:   在115 和 110 机器上分别安装 nginx 和  keepalived

安装keepalived 如下:

1.下载keepalived
wget http://www.keepalived.org/software/keepalived-1.2.18.tar.gz
2.解压安装:
tar -zxvf keepalived-1.2.18.tar.gz -C /usr/local/
3.下载插件openssl
yum install -y openssl openssl-devel(需要安装一个软件包)
4.开始编译keepalived
cd keepalived-1.2.18/ && ./configure --prefix=/usr/local/keepalived
5.make一下
make && make install


报错: eepalived执行./configure --prefix=/usr/local/keepalived时报错:configure: error: Popt libraries is required
出现此错误的原因:
未安装popt的开发包
解决方法:
yum install popt-devel
安装好popt的开发包。重新./configure 即可。


keepalived安装成Linux系统服务

将keepalived安装成Linux系统服务,因为没有使用keepalived的默认安装路径(默认路径:/usr/local),安装完成之后,需要做一些修改工作:
首先创建文件夹,将keepalived配置文件进行复制:
mkdir /etc/keepalived
cp /usr/local/keepalived/etc/keepalived/keepalived.conf /etc/keepalived/
然后复制keepalived脚本文件:
cp /usr/local/keepalived/etc/rc.d/init.d/keepalived /etc/init.d/
cp /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/
ln -s /usr/local/sbin/keepalived /usr/sbin/
ln -s /usr/local/keepalived/sbin/keepalived/sbin/
可以设置开机启动:chkconfig keepalived on,到此我们安装完毕!
keepalived 常用命令
service keepalived start
service keepalived stop

启动报错Starting keepalived (via systemctl):  Job for keepalived.service failed. See 'systemctl status keepalived.service' and 'journalctl -xn' for details.  
解决办法
[root@edu-proxy-01 sbin]# cd /usr/sbin/  
[root@edu-proxy-01 sbin]# rm -f keepalived   
[root@edu-proxy-01 sbin]# cp /usr/local/keepalived/sbin/keepalived  /usr/sbin/  

  step4:115,110 机器上分别配置keepalived

115: 

vi /etc/keepalived/keepalived.conf

! Configuration File for keepalived

# 心跳检测的脚本,去执行这个sh 文件 vrrp_script chk_nginx { script "/etc/keepalived/nginx_check.sh" interval 20 weight -20 } vrrp_instance VI_1 { state MASTER interface ens33 virtual_router_id 121 mcast_src_ip 192.168.178.115 priority 100 nopreempt advert_int 1 authentication { auth_type PASS auth_pass 1111 }
# 心跳检测的脚本 track_script { chk_nginx } virtual_ipaddress { 192.168.178.116 } }

脚本sh 文件如下:

#!/bin/bash
if [ `ps -C nginx --no-header | wc -l` -eq 0 ]; then /usr/local/nginx/sbin/nginx; sleep 5; if [ `ps -C nginx --no-header | wc -l` -eq 0 ]; then systemctl stop keepalived; fi; fi

意思就是查看有没有nginx线程,如果nginx 挂了,重启nginx 服务,睡眠5秒,如果重启失败,则关闭这个主的keepalived 服务。

当主的keepalived 服务挂了之后,根据vrrp 协议,虚拟vip 会切换到backup 机器(也就是192.168.178.110),这就是心跳检测,加上故障转移。但是我这边没有成功,脚本没有执行。问题还没找到。

 

110:操作也是一样,就是个别地方需要改一下:

 vi /etc/keepalived/keepalived.conf

! Configuration File for keepalived

vrrp_script chk_nginx {
    script "/etc/keepalived/nginx_check.sh"
    interval 2 #检测时间间隔
    weight -20 #如果条件成立的话,则权重 -20
}

vrrp_instance VI_2 {
    state BACKUP #来决定主从
    interface ens33 # 绑定虚拟 IP 的网络接口,根据自己的机器填写
    virtual_router_id 121 # 虚拟路由的 ID 号, 两个节点设置必须一样
    mcast_src_ip 192.168.178.110 #填写本机ip
    priority 100 # 节点优先级,主要比从节点优先级高
    nopreempt # 优先级高的设置 nopreempt 解决异常恢复后再次抢占的问题
    advert_int 1 # 组播信息发送间隔,两个节点设置必须一样,默认 1s
    track_script {
        chk_nginx
    }
    authentication {
        auth_type PASS
        auth_pass 1111
    }

    virtual_ipaddress {
        192.168.178.116 # 虚拟ip,也就是解决写死程序的ip怎么能切换的ip,也可扩展,用途广泛。可配置多个。
    }
}

 

脚本sh 文件如下:

#!/bin/bash
if [ `ps -C nginx --no-header | wc -l` -eq 0 ]; then /usr/local/nginx/sbin/nginx; sleep 5; if [ `ps -C nginx --no-header | wc -l` -eq 0 ]; then systemctl stop keepalived; fi; fi

step5: 两台机器上分别设置nginx 负载均衡,反向代理

    upstream aiyuesheng {
      server 192.168.178.1:8080;
      server 192.168.178.1:8081;
     }
    
    server {
        listen       80;
        server_name  localhost;
        location / {
            proxy_pass   http://aiyuesheng;
            index  index.html index.htm;
        }
         ###nginx与上游服务器(真实访问的服务器)超时时间 后端服务器连接的超时时间_发起握手等候响应超时时间
          proxy_connect_timeout 1s;
         ###nginx发送给上游服务器(真实访问的服务器)超时时间
         proxy_send_timeout 1s;
          ### nginx接受上游服务器(真实访问的服务器)超时时间
         proxy_read_timeout 1s;

        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   html;
        }


    }

 

    upstream aiyuesheng {
      server 192.168.178.1:8082;
      server 192.168.178.1:8083;
     }
    
    server {
        listen       80;
        server_name  localhost;
        location / {
            proxy_pass   http://aiyuesheng;
            index  index.html index.htm;
        }
         ###nginx与上游服务器(真实访问的服务器)超时时间 后端服务器连接的超时时间_发起握手等候响应超时时间
          proxy_connect_timeout 1s;
         ###nginx发送给上游服务器(真实访问的服务器)超时时间
         proxy_send_timeout 1s;
          ### nginx接受上游服务器(真实访问的服务器)超时时间
         proxy_read_timeout 1s;

        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   html;
        }


    }

 

step6:效果:115,110,分别启动nignx ,keepalived ,通过 ip a 命令可以看到115 机器上多了个ip 192.168.178.116

浏览器输入192.168.178.116(虚拟vip),转发到了nginx 集群上的192.168.178.115 机器上,nginx 服务又通过反向代理和负载均衡分发到192.168.178.1:8080,192.168.178.1:8081

当把192.168.178.115 的nginx 服务stop ,192.168.178.116(虚拟vip)因该到192.168.178.110 机器上,nginx 服务又通过反向代理和负载均衡分发到192.168.178.1:8082,192.168.178.1:8083

最后一步没有成功,原因还不清楚。

 

注意:写shell 脚本要在linux 上写,因为windows 上格式和linux 不一样,windows 换行\r\n linux 编译不出来

web 集群,也可以做备用服务,比如一直访问 192.168.178.1:8080,当192.168.178.1:8080 挂了之后才访问192.168.178.1:8081

upstream testproxy {
      server 192.168.178.1:8080;
      server 192.168.178.1:8081 backup;
  }

 

 所以,综上,当生产的项目出现宕机,对应的策略是:

 1,故障转移.....从master 转到 backup

 2,  心跳检测,keepalived每隔多长时间会执行脚本,查看nginx 服务是否还在

 3,自动重启,检查服务不在了,会执行/usr/local/nginx/sbin/nginx 的命令开启nginx