LVS 负载均衡 - DR模式

时间：2024-03-07 09:02:35

一 . DR 模式   直接路由  

1.介绍：

直接路由（Direct Routing）：简称 DR 模式，采用半开放式的网络结构，与 TUN 模式的结构类似，但各节点并不是分散在各地，而是与调度器位于同一个物理网络。

负载调度器与各节点服务器通过本地网络连接，不需要建立专用的 IP 隧道

直接路由，LVS默认模式,应用最广泛,通过请求报文重新封装一个MAC首部进行转发，源MAC是DIP所在的接口的MAC，目标MAC是某挑选出的RS的RIP所在接口的MAC地址；源IP/PORT，以及目标IP/PORT均保持不变。

2.DR模式的特点：

① Director 和各RS都配置有VIP

② 确保前端路由器将目标IP为VIP的请求报文发往Director

  • 在前端网关做静态绑定VIP和 Director 的MAC地址

  • 在RS上使用 arptables 工具

arptables -A IN -d $VIP -j DROP
arptables -A OUT -s $VIP -j mangle --mangle-ip-s $RIP

③ 在RS上修改内核参数以限制arp通告及应答级别

/proc/sys/net/ipv4/conf/all/arp_ignore  忽略arp广播
/proc/sys/net/ipv4/conf/all/arp_announce  关闭无故arp

RS 的 RIP 可以使用私网地址，也可以是公网地址；RIP与DIP在同一IP网络；RIP的网关不能指向DIP，以确保响应报文不会经由 Director

④ RS和Director要在同一个物理网络

⑤ 请求报文要经由Director，但响应报文不经由Director，而由RS直接发往Client

⑥ 不支持端口映射（端口不能修改）

⑦ 无需开启 ip_forward

⑧ RS可使用大多数OS系统

3.DR 中的ARP问题

3.1 VIP地址相同导致响应冲突

问题原因：
在 LVS-DR 负载均衡集群中，负载均衡器与节点服务器都要配置相同的 VIP 地址，在局域网中具有相同的 IP 地址，势必会造成各服务器 ARP 通信的紊乱。

  • 当ARP广播发送到LVS-DR集群时，因为负载均衡器和节点服务器都是连接到相同的网络上，它们都会收到ARP广播。
  • 只有前端的负载均衡器进行响应，其他节点服务器不应该响应ARP广播。

解决方法：
对节点服务器进行处理，使其不响应针对VIP的ARP请求

  • 使用虚接口lo:0承载VIP地址
  • 设置内核参数 arp_ ignore=1：系统只响应目的IP为本地IP（物理网卡的地址，而不是lo网卡的虚接口地址）的ARP请求。

3.2 返回报文时源地址使用VIP，导致网关设备的ARP缓存表紊乱

问题原因：

  • RealServer 返回报文（源IP是VIP）经路由器转发，重新封装报文时，需要先获取路由器的MAC地址。
  • 发送ARP请求时，Linux默认使用IP包的源IP地址（即VIP）作为ARP请求包中的源IP地址，而不使用发送接口的IP地址。
  • 路由器收到ARP请求后，将更新ARP表项。原有的VIP对应 Director 的MAC地址，会被更新为VIP对应的 Real Server 的MAC地址。导致网关设备的ARP缓存表紊乱。
  • 路由器根据ARP表项，会将新来的请求报文转发给Real Server，导致Director的VIP失效。

解决方法：

对节点服务器进行处理，设置内核参数 arp_announce=2：系统不使用IP数据包的源地址来设置ARP请求的源地址，而选择发送接口（物理网卡）的IP地址。

4. IP 隧道模式

  1. RIP 和 DIP 可以不处于同一物理网络中，RS 的网关一般不能指向 DIP,且 RIP 可以和公网通信，也就是说集群节点可以跨互联网实现。DIP, VIP, RIP可以是公网地址。

  2. RealServer 的通道接口上需要配置VIP地址，以便接收DIP转发过来的数据包，以及作为响应的报文源IP。

  3. DIP转发给RealServer时需要借助隧道，隧道外层的IP头部的源IP是DIP，目标IP是RIP，而RealServer响应给客户端的IP头部是根据隧道内层的IP头分析得到的，源IP是VIP，目标IP是CIP

  4. 请求报文要经由Director，但响应不经由Director,响应由 RealServer 自己完成

  5. 不支持端口映射

  6. RS的OS须支持隧道功能

        一般来说，隧道模式常会用来负载调度缓存服务器组，这些缓存服务器一般放置在不同的网络环境，可以就近折返给客户端。在请求对象不在 Cache 服务器本地命中的情况下，Cache 服务器要向源服务器发送请求，将结果取回，最后将结果返回给用户。

5. LVS工作模式总结和比较

NAT TUN DR
优点 端口转换 WAN 性能最好
缺点 性能瓶颈 服务器支持隧道模式 不支持跨网段
真实服务器要求 any Tunneling Non-arp device
支持网络 private（私网） LAN/WAN（私网/公网） LAN（私网）
真实服务器数量 low (10~20) High (100) High (100)
真实服务器网关 lvs内网地址 Own router（网工定义） Own router（网工定义）

二. LVS 单网段DR模式部署

7-3 负载调度器

临时配置：
[root@localhost ~]#ifconfig ens33:0 192.168.44.188/32

永久配置：
[root@localhost network-scripts]#cp ifcfg-ens33 ifcfg-ens33:0
#配置虚拟网卡，若为隧道模式ifcfg-tunl0
[root@localhost network-scripts]#vim ifcfg-ens33:0
#删除dns与网关，注意子网
NAME=ens33:0
DEVICE=ens33:0
IPADDR=192.168.44.188
NETMASK=255.255.255.255
[root@localhost network-scripts]#systemctl restart network
[root@localhost network-scripts]#ifup ifcfg-ens33:0
#启动网卡

#调整/proc响应参数
[root@localhost network-scripts]# vi /etc/sysctl.conf
net.ipv4.ip_forward = 0
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0
[root@localhost network-scripts]#sysctl -p

#刷新配置
#调整/proc响应参数  对于 DR 群集模式来说，由于 LVS 负载调度器和各节点需要共用 VIP 地址，应该关闭 Linux 内核的重定向参数响应服务器不是一台路由器，那么它不会发送重定向，所以可以关闭该功能

#配置负载分配策略
[root@localhost ~]#modprobe ip_vs
[root@localhost ~]#cat /proc/net/ip_vs
#加载模块
[root@localhost network-scripts]#ipvsadm-save >/etc/sysconfig/ipvsadm
[root@localhost network-scripts]#systemctl start ipvsadm.service

[root@localhost ~]#ipvsadm -A -t 192.168.44.188:80 -s rr
[root@localhost ~]#ipvsadm -a -t 192.168.44.188:80 -r 192.168.44.40:80 -g
[root@localhost ~]#ipvsadm -a -t 192.168.44.188:80 -r 192.168.44.50:80 -g
#添加真实服务器-a  指定VIP地址及TCP端口-t   指定RIP地址及TCP端口 -r 指定DR模式-g

7-4 节点服务器

[root@localhost ~]#yum install httpd -y
[root@localhost ~]#systemctl start httpd

临时配置
[root@localhost ~]#ifconfig lo:0 192.168.44.188/32
[root@localhost ~]#ip a

永久设置
[root@localhost network-scripts]#vim ifcfg-lo:0
#修改回环网卡名，IP地址，子网掩码
DEVICE=lo:0
IPADDR=192.168.44.188
NETMASK=255.255.255.255
NETWORK=127.0.0.0

节点服务器测试网页设置：

[root@localhost network-scripts]#vim /etc/sysctl.conf 
#添加系统只响应目的IP为本地IP的ARP请求
#系统不使用原地址来设置ARP请求的源地址，而是物理mac地址上的IP
[root@localhost network-scripts]#sysctl -p
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.default.arp_ignore = 1
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2

#定义对目标地址为本地IP的ARP询问不同的应答模式0 
0 - (默认值): 回应任何网络接口上对任何本地IP地址的arp查询请求 
1 - 只回答目标IP地址是来访网络接口本地地址的ARP查询请求 
2 -只回答目标IP地址是来访网络接口本地地址的ARP查询请求,且来访IP必须在该网络接口的子网段内

7-5 节点服务器 与上同理

7-6 测试

配置总结：

调度器设置
① 加载 ip_vs 模块，安装ipvsadm工具

② 配置虚拟网卡（ens33:0）IP地址（VIP）

③ 条件proc参数，并且关闭路由转发功能

④ 使用ipvsadm工具配置负载均衡策略（配置时注意，该转发设置基于VIP设置，而非调度器本身的IP）

节点服务器配置
① 安装httpd服务，并且创建各自的测试网页（真实环境是多个节点服务器挂同一个NFS共享机，并且内容网页相同。）

② 添加虚拟网卡，与调度器不同，节点服务器设置的虚拟网卡为回环的虚拟网卡（lo:0），用于承载VIP,做自身数据处理

③ 调整内核（/etc/sysctl.conf）的参数设置，以阻止更新 VIP 的 MAC 地址，避免发生冲突。

④ 添加路由，指定设备为回环的虚拟网卡（也是承载VIP的虚拟网卡）

相关文章