centos7之LVS-TUNNEL模式
介绍
优缺点以及适用场景
优点：能负载更多的Realserver减轻LB的压力。LVS和Realserver可以不再同一网段。
缺点：tun模式的开销比较大(出口流量大)，性能不如DR模式。不支持端口转发。后端Realserver系统必须支持tunnel协议。
适用：有局域网+广域网负载需求的公司(用的少)
tun模式：隧道模式，以封装数据包为主，原理
1.客户端发送请求给LB
2.LB收到数据包拆包(源ip:CIP 目标ip:VIP),发现是给自己的就收下数据包。
3.LB根据算法(rr wrr)选择合适的RealServer，并建一层隧道把源报文封装进去[外层源ip:DIP(内层源ip:CIP 内层目标ip:VIP)外层目标ip:RIP]发给RS
4.RS收到数据包拆包并还原之前的数据包(源ip:CIP 目标ip:VIP)，并把回复的数据加进去直接发给客户端。
1、准备环境
所有主机关闭selinux iptables firwalld
lvs基于四层ip+端口转发，不支持基于url和目录的转发
2、部署lvs
(1) 查看当前隧道模块
# lsmod |grep ipip # 目前是没有的
(2) 添加虚拟网卡tunl0并配置vip
# ip addr add 192.168.1.100/32 dev tunl0
(3) 再次查看隧道模块已经有了
# lsmod |grep ipip
ipip 13465 0
tunnel4 13252 1 ipip
ip_tunnel 25163 1 ipip
(4) 查看新增加的虚拟网卡tunl0,状态为DOWN
# ip addr
5: tunl0@NONE: <NOARP,UP,LOWER_UP> mtu 1480 qdisc noqueue state DOWN group default qlen 1000
link/ipip 0.0.0.0 brd 0.0.0.0
inet 192.168.1.100/32 scope global tunl0
valid_lft forever preferred_lft forever
(5) 激活虚拟网卡并再次查看虚拟网卡状态为UNKNOWN,通过ifconfig也能看到tunl0网卡了
# ip link set up tunl0
# ip addr
5: tunl0@NONE: <NOARP,UP,LOWER_UP> mtu 1480 qdisc noqueue state UNKNOWN group default qlen 1000
link/ipip 0.0.0.0 brd 0.0.0.0
inet 192.168.1.100/32 scope global tunl0
valid_lft forever preferred_lft forever
(6) 安装ipvsadm并配置负载均衡
# yum -y install ipvsadm
# ipvsadm -A -t 192.168.1.100:80 -s rr # 创建虚拟服务器并添加vip
# ipvsadm -a -t 192.168.1.100:80 -r 192.168.1.23:80 -i -w 1 # 为虚拟服务器添加后端realserver
# ipvsadm -a -t 192.168.1.100:80 -r 192.168.1.24:80 -i -w 1
----------------------------------------------------
-A：添加虚拟服务器
-t: 指定vip和tcp端口
-a: 添加realserver
-r: realserver地址
-i: tunnel模式 -m:nat模式 -g dr模式
-w: 权重
(7) 也可以设置基于udp的
# ipvsadm -A -u 192.168.1.100:30005 -s rr
# ipvsadm -a -u 192.168.1.100:30005 -r 192.168.1.11:30005 -i -w 1
# ipvsadm -a -u 192.168.1.100:30005 -r 192.168.1.12:30005 -i -w 1
(8) 保存ipvsadm规则并重启
# ipvsadm -Sn > /etc/sysconfig/ipvsadm # 保存规则
# ipvsadm-restore < /etc/sysconfig/ipvsadm # 导入规则
# systemctl restart ipvsadm # 导入规则后才会有ipvsadm.service文件
# systemctl enable ipvsadm
(9) 查看lvs状态
# ipvsadm -ln
# ipvsadm -ln --stats
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.1.100:80 rr
-> 192.168.1.23:80 Tunnel 1 0 0
-> 192.168.1.24:80 Tunnel 1 0 0
UDP 192.168.1.100:30005 rr
-> 192.168.1.11:30005 Tunnel 1 0 6
-> 192.168.1.12:30005 Tunnel 1 0 6
（10）脚本配置
# cat /usr/local/sbin/lvs_tun.sh
#!/bin/bash
echo 1 > /proc/sys/net/ipv4/ip_forward
ipv=/usr/sbin/ipvsadm
vip=192.168.3.229
rs1=192.168.3.225
rs2=192.168.3.226
#注意这里的网卡名字
ifconfig tunl0 $vip broadcast $vip netmask 255.255.255.255 up
# 让vip走虚拟网卡
route add -host $vip dev tunl0
$ipv -C
$ipv -A -t $vip:80 -s rr
$ipv -a -t $vip:80 -r $rs1:80 -i -w 1
$ipv -a -t $vip:80 -r $rs2:80 -i -w 1
3、部署realserver
(1) 配置nginx略
(2) 在两台realserver添加tunl0网卡并配置vip
# ip addr add 192.168.1.100/32 dev tunl0
# ip link set up tunl0 # 激活网卡
(3) 配置内核关闭arp转发(否则客户端没有经过lvs负载就直接访问到后端realserver的vip上去了)
echo "1" > /proc/sys/net/ipv4/conf/tunl0/arp_ignore
echo "2" > /proc/sys/net/ipv4/conf/tunl0/arp_announce
echo "1" > /proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" > /proc/sys/net/ipv4/conf/all/arp_announce
# 关闭地址校验
echo "0" > /proc/sys/net/ipv4/conf/tunl0/rp_filter
echo "0" > /proc/sys/net/ipv4/conf/all/rp_filter
--------------------------------------------------
rp_filter：默认为1，linux会反向校验来源ip是否从同一张网卡进出，如果不是就会丢弃数据包，而TUNNEL模式是从tunl0网卡进物理网卡出，如果不关闭这个功能会导致数据包被丢弃。
(4) 脚本
# cat /usr/local/sbin/lvs_tun_rs.sh
#/bin/bash
vip=192.168.3.229
#把vip绑定在tunl0上，是为了实现rs直接把结果返回给客户端
ifconfig tunl0 $vip broadcast $vip netmask 255.255.255.255 up
# 让vip走虚拟网卡
route add -host $vip tunl0
#以下操作为更改arp内核参数，目的是为了让rs顺利发送mac地址给客户端
echo "1" > /proc/sys/net/ipv4/conf/tunl0/arp_ignore
echo "2" > /proc/sys/net/ipv4/conf/tunl0/arp_announce
echo "1" > /proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" > /proc/sys/net/ipv4/conf/all/arp_announce
echo "0" > /proc/sys/net/ipv4/conf/tunl0/rp_filter
echo "0" > /proc/sys/net/ipv4/conf/all/rp_filter