LVS系列—LVS-NAT 模式安装

时间:2022-08-04 03:05:44

一、准备工作——LVS Server

LVS Server:LSV Server有两张网卡,作用如下:

  • eth0:192.168.3.10:这张网卡对应一个封闭的内网,不能访问外网资源,外网也不能直接通过这个IP访问这台主机;
  • eth1:192.168.2.100:这张网卡设置的IP可以访问外网,也可以被外网访问。eth1的网关:192.168.2.1。

1、以下是设置的eth0 ip信息

[root@localhost /]# cat /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE="eth0"
BOOTPROTO="static"
HWADDR="00:0c:29:24:26:a6"
ONBOOT="yes"
TYPE="Ethernet"
IPADDR="192.168.3.10"
NETMASK="255.255.255.0"
NAME="eth0"

2、以下是设置的eth1 ip信息

[root@localhost /]# cat /etc/sysconfig/network-scripts/ifcfg-eth1
DEVICE="eth1"
BOOTPROTO="static"
HWADDR="00:0c:29:24:26:b0"
ONBOOT="yes"
TYPE="Ethernet"
IPADDR="192.168.2.100"
NETMASK="255.255.255.0"
NAME="eth1"
GATEWAY="192.168.2.1"

3、设置完成后,要重启network服务

[root@localhost ~]# service network restart
Restarting network (via systemctl): [ 确定 ]

4、ping ping更健康(说明到外网的网关工作是正常的)

C:\Users\1234>ping 192.168.2.100

正在 Ping 192.168.2.100 具有 32 字节的数据:
来自 192.168.2.100 的回复: 字节=32 时间<1ms TTL=64
来自 192.168.2.100 的回复: 字节=32 时间<1ms TTL=64
来自 192.168.2.100 的回复: 字节=32 时间<1ms TTL=64
来自 192.168.2.100 的回复: 字节=32 时间<1ms TTL=64

192.168.2.100Ping 统计信息:
数据包: 已发送 = 4,已接收 = 4,丢失 = 0 (0% 丢失),
往返行程的估计时间(以毫秒为单位):
最短 = 0ms,最长 = 0ms,平均 = 0ms

另外还可以通过route命令检查:

[root@localhost ~]# route
Kernel IP routing table
Destination Gateway Genmask Flags Metric Ref Use Iface
default 192.168.2.1 0.0.0.0 UG 101 0 0 eth1
192.168.2.0 0.0.0.0 255.255.255.0 U 101 0 0 eth1
192.168.3.0 0.0.0.0 255.255.255.0 U 100 0 0 eth0

二、准备工作——Real Server

Real Server:Real Server有一张网卡,在一个封闭的内网环境中。

  • eth0:192.168.3.11:这样LVS Server和Real Server就组成了一个相对封闭的局域网络。注意按照我们介绍的NAT原理,Real Server的eth0的默认网关要设置成Lvs Server:192.168.3.10;
  • 在Real Server上运行了一个Nginx程序,在80端口上。这样以便在后续的过程中,测试LVS-NAT的工作是否正常。

1、以下是设置的Real Server eth0 的IP信息

[root@localhost /]# cat /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE="eth0"
BOOTPROTO="static"
HWADDR="00:0c:29:16:8a:87"
ONBOOT="yes"
TYPE="Ethernet"
IPADDR=192.168.3.11
NETMASK=255.255.255.0
GATEWAY="192.168.3.10"

一定注意Real Server的网关要设置到LVS的IP:192.168.3.10。

2、ping ping更健康(说明Real Server和LVS Server是互通的)

[root@localhost /]# ping 192.168.3.10
PING 192.168.3.10 (192.168.3.10) 56(84) bytes of data.
64 bytes from 192.168.3.10: icmp_seq=1 ttl=64 time=0.318 ms
64 bytes from 192.168.3.10: icmp_seq=2 ttl=64 time=0.272 ms
64 bytes from 192.168.3.10: icmp_seq=3 ttl=64 time=0.506 ms
64 bytes from 192.168.3.10: icmp_seq=4 ttl=64 time=0.351 ms
64 bytes from 192.168.3.10: icmp_seq=5 ttl=64 time=0.456 ms
^C
--- 192.168.3.10 ping statistics ---
5 packets transmitted, 5 received, 0% packet loss, time 4004ms
rtt min/avg/max/mdev = 0.272/0.380/0.506/0.089 ms

另外一个检查方式,也可以通过route命令:

[root@localhost /]# route
Kernel IP routing table
Destination Gateway Genmask Flags Metric Ref Use Iface
default localhost 0.0.0.0 UG 101 0 0 eth0
192.168.3.0 0.0.0.0 255.255.255.0 U 100 0 0 eth0

注意,默认的路由指向192.168.3.10。

3、看看Nginx是不是工作正常的

[root@localhost ~]# curl 192.168.3.11
192.168.3.11

Nginx的安装配置请参考Nginx系列—服务器安装与配置

Nginx虚拟机的配置请参考

按照同样的步骤多陪几台服务器,便于测试。

完成准备工作后,我们可以开始安装和配置LVS了。

三、开始安装和配置LVS-NAT模式

ipvsadm是一个LVS的管理程序。我们队LVS的配置都是通过这个管理程序进行实现的。若没有安装请参考LVS系列—LVS安装使用详解(ipvsadm命令)

然后开始配置。首先我们要设置LVS机器支持IP转发功能。注意默认IP转发功能是关闭的,重启机器后,又会关闭

[root@localhost ~]# echo 1 >> /proc/sys/net/ipv4/ip_forward

然后我们查看一下,是否改写成功:

[root@localhost ~]# cat /proc/sys/net/ipv4/ip_forward
1

注意,如果您使用vim或者vi命令,改写文件,是不会成功的。因为这个文件存在于内存。不在硬盘上。所以只能通过echo这样的命令改写。

打开LVS机器支持IP转发功能,永久生效

[root@localhost ~]# vim /etc/sysctl.conf
net.ipv4.ip_forward = 1

接下来执行如下的命令:

[root@localhost ~]# ipvsadm -At 192.168.2.100:80 -s rr
[root@localhost ~]# ipvsadm -at 192.168.2.100:80 -r 192.168.3.11 -m
[root@localhost ~]# ipvsadm -at 192.168.2.100:80 -r 192.168.3.12 -m

我们来解释一下其中的参数:

-A --add-service 在内核的虚拟服务器表中添加一条新的虚拟服务器记录。也就是增加一台新的虚拟服务器。
-t --tcp-service service-address 说明虚拟服务器提供的是tcp 的服务。
-s --scheduler scheduler 使用的调度算法,可选项包括:rr|wrr|lc|wlc|lblc|lblcr|dh|sh|sed|nq(关于调度算法我们在上篇文章中已经详细介绍了)
-r --real-server server-address 真实的服务器[Real-Server:port]。
-m --masquerading 指定LVS 的工作模式为NAT 模式。

最后我们测试一下:

浏览器一:

LVS系列—LVS-NAT 模式安装

浏览器二:

LVS系列—LVS-NAT 模式安装

我们在相对于Real Server的外网,通过192.168.2.100的LVS Server IP访问到了Real Server上的Nginx服务。安装和配置成功。

在测试时发现,轮训调度的算发并没有真正的平均进行调度,不知道什么原因。

四、关于iptables和重启服务的说明

在配置LVA-NAT过程中,建议关闭LVS和Real Server的防火墙服务。这样可以避免不必要的错误发生,增加一次配置成功的几率。但是正常生产环境中,LVS的防火墙根据实际情况最好还是要打开。

请注意,刚才使用ipvsadm配置的信息,在LVS服务器重启后,就会失效。包括ip_forward的配置。所以,最好制作一个脚本文件,并加入到/etc/profile中:

[root@localhost ~]# vim /usr/lvsshell.sh

#!/bin/bash
echo 1 > /proc/sys/net/ipv4/ip_forward
ipvsadm -C
ipvsadm -At 192.168.2.100:80 -s rr
ipvsadm -at 192.168.2.100:80 -r 192.168.3.11 -m
ipvsadm -at 192.168.2.100:80 -r 192.168.3.12 -m

附、配置过程中的问题

1、最后在浏览器进行测试时,发现访问不到后端Nginx的服务

决解方法:将服务器上多余的默认路由删掉,只留下一条默认的路由。