LVS管理工具ipvsadm详解与LVS-NAT模式演示

时间：2023-03-10 03:27:44
LVS管理工具ipvsadm详解与LVS-NAT模式演示

ipvsadm命令是工作在用户空间的LVS集群管理工具，原理是调用ipvs的API，在内核中生成ipvs的规则，主要用来管理集群服务和集群服务中的RealServer，使用方法类似iptables命令，但远没有iptables命令复杂，如果你熟练使用iptables命令，那使用ipvsadm就会得心应手了。好了，言归正传，系统中默认没有安装该命令，使用yum方式进行安装，安装命令如下：

  1. [root@lvs-server ~]# yum install -y ipvsadm

在介绍LVS理论时，用了大部分的篇章讲解LVS四种模型和调度算法，当使用ipvsadm命令时，也要指明使用LVS哪一种模型和调度算法。需要注意的是，一个LVS主机可以定义多个集群服务，一个集群服务中至少有一台RealServer，RealServer只能添加到已经定义的集群服务中。

一、ipvsadm命令格式

1. 管理集群服务的命令

  1. 添加集群服务：ipvsadm -A  -t|u|f service-address [-s scheduler]
  2. 修改集群服务：ipvsadm -E  -t|u|f service-address [-s scheduler]
  3. 删除集群服务：ipvsadm -D  -t|u|f service-address

2. 管理RealServer的命令

  1. 添加RS到集群服务：ipvsadm -a -t|u|f service-address -r server-address [options]
  2. 修改集群服务的RS：ipvsadm -e -t|u|f service-address -r server-address [options]
  3. 删除集群服务的RS：ipvsadm -d -t|u|f service-address -r server-address

3. 查看命令

  1. 查看所有规则：ipvsadm -L|l [options]
  2. options包括：--numeric|--connection|--timeout|--daemon|--stats|--rate|--exact|--persistent-conn

4. 清空、保存和重载命令

  1. 清空所有规则：ipvsadm -C
  2. 保存所有规则：ipvsadm -S [-n]
  3. 重载所有规则：ipvsadm -R

5. 其他命令

  1. 置零计数器：ipvsadm -Z [-t|u|f service-address]
  2. 设置连接超时值：ipvsadm --set tcp tcpfin udp，默认值分别为：900 120 300

二、ipvsadm命令信息

LVS管理工具ipvsadm详解与LVS-NAT模式演示

三、ipsvadm选项信息

LVS管理工具ipvsadm详解与LVS-NAT模式演示

四、LVS-NAT模式实验

上面介绍了ipvsadm命令的格式和常用选项，现在进行实际操作，来熟悉ipvsadm命令的常用配置，准备三台服务器，用来演示LVS-NAT模式，拓扑结构如下：

LVS管理工具ipvsadm详解与LVS-NAT模式演示

详细配置如下：

LVS管理工具ipvsadm详解与LVS-NAT模式演示

要求：

（1）lvs-node1与lvs-node2提供http服务，服务端口分别为80和8080；

（2）lvs-node1与lvs-node2网关指向lvs-server的DIP；

（3）lvs-server使用rr算法进行调度；

（4）在进行实验时，先关闭iptables；

（5）lvs-server需要开启核心转发；

实验开始：

关闭iptables和selinux（这里只是临时关闭了selinux，永久关闭需要修改配置文件）

  1. [root@lvs-server ~]# service iptables stop
  2. iptables：将链设置为政策 ACCEPT：filter                       [确定]
  3. iptables：清除防火墙规则：                                           [确定]
  4. iptables：正在卸载模块：                                              [确定]
  5. [root@lvs-server ~]# setenforce 0
  6. setenforce: SELinux is disabled

开启lvs-server的核心转发功能

  1. [root@lvs-server ~]# sed -i 's#net.ipv4.ip_forward = 0#net.ipv4.ip_forward = 1#g' /etc/sysctl.conf
  2. [root@lvs-server ~]# cat /etc/sysctl.conf |grep ip_forward
  3. net.ipv4.ip_forward = 1
  4. #使修改的核心转发参数生效
  5. [root@lvs-server ~]# sysctl -p
  6. net.ipv4.ip_forward = 1
  7. net.ipv4.conf.default.rp_filter = 1
  8. net.ipv4.conf.default.accept_source_route = 0
  9. kernel.sysrq = 0
  10. kernel.core_uses_pid = 1
  11. net.ipv4.tcp_syncookies = 1
  12. kernel.msgmnb = 65536
  13. kernel.msgmax = 65536
  14. kernel.shmmax = 68719476736
  15. kernel.shmall = 4294967296

在lvs-node1和lvs-node2上安装并配置httpd，可在lvs-server上使用如下命令测试是否可以正常访问

  1. [root@lvs-server ~]# curl http://192.168.1.51
  2. lvs-node1 port:80
  3. [root@lvs-server ~]# curl http://192.168.1.52:8080
  4. lvs-node2 port:8080

现在万事具备，只欠规则了，使用ipvsadm命令添加一个集群服务，然后将后端提供http服务的两台RealServer加入到新添加的集群服务中

  1. #定义一个集群服务10.0.0.50:80，指定调度算法为rr
  2. [root@lvs-server ~]# ipvsadm -A -t 10.0.0.50:80 -s rr
  3. #将后端两台RealServer192.168.1.51和192.168.1.52:8080添加到集群服务10.0.0.50:80中，由于使用的是LVS-NAT模式，所以需要指定-m选项，-m代表NAT模式。
  4. [root@lvs-server ~]# ipvsadm -a -t 10.0.0.50:80 -r 192.168.1.51 -m
  5. [root@lvs-server ~]# ipvsadm -a -t 10.0.0.50:80 -r 192.168.1.52:8080 -m
  6. #查看管理中的规则
  7. [root@lvs-server ~]# ipvsadm -L -n
  8. IP Virtual Server version 1.2.1 (size=4096)
  9. Prot LocalAddress:Port Scheduler Flags
  10. -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
  11. TCP  10.0.0.50:80 rr
  12. -> 192.168.1.51:80                    Masq        1           0                0
  13. -> 192.168.1.52:8080                Masq        1           0                0
  14. 这里是将后端两台RealServer映射给了lvs-server的外网IP，访问lvs-server外网IP的80端口时，lvs-server会将请求调度给后端两台RealServer。

如果你的物理机可以直接访问lvs-server的外网地址，用浏览器就可以体验LVS的轮循效果，反之用curl命令也可以查看效果

  1. #使用两次curl命令查看效果
  2. [root@lvs-server ~]# curl http://10.0.0.50
  3. lvs-node1 port:80
  4. [root@lvs-server ~]# curl http://10.0.0.50
  5. lvs-node2 port:8080
  6. #使用组合循环命令查看效果，每秒访问一次
  7. [root@lvs-server ~]# for i in seq 500 ;do sleep 1;curl http://10.0.0.50 ;done;
  8. lvs-node1 port:80
  9. lvs-node2 port:8080
  10. lvs-node1 port:80
  11. lvs-node2 port:8080

至此，LVS-NAT模式实验已经成功完成，但在实验中使用的ipvsadm命令并不多，只用来创建了集群服务，向集群服务中添加RealServer。接下来，以此实验为基础进行其它命令选项的演示。

查看添加的规则

  1. [root@lvs-server ~]# ipvsadm -Ln
  2. IP Virtual Server version 1.2.1 (size=4096)
  3. Prot LocalAddress:Port Scheduler Flags
  4. -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
  5. TCP  10.0.0.50:80 rr
  6. -> 192.168.1.51:80                     Masq        1            0               0
  7. -> 192.168.1.52:8080                 Masq        1            0               0
  8. Forward ：转发方式
  9. Weight：权重
  10. ActiveConn：活动连接数
  11. InActConn：非活动连接数

查看当前的IPVS连接

  1. [root@lvs-server ~]# ipvsadm -Ln  -c
  2. IPVS connection entries
  3. pro expire state       source             virtual            destination
  4. TCP 01:25  TIME_WAIT   10.0.0.50:44765    10.0.0.50:80       192.168.1.52:8080
  5. TCP 01:28  TIME_WAIT   10.0.0.50:44768    10.0.0.50:80       192.168.1.51:80
  6. TCP 01:37  TIME_WAIT   10.0.0.50:44777    10.0.0.50:80       192.168.1.52:8080
  7. TCP 00:00  TIME_WAIT   10.0.0.50:44760    10.0.0.50:80       192.168.1.51:80
  8. pro：协议
  9. expire：还有多长时间过期
  10. state：TCP状态
  11. source：源地址:随机端口
  12. virtual：虚拟集群服务
  13. destination：被lvs-server调度到的RealServer

查看连接的超时时间

  1. [root@lvs-server ~]# ipvsadm -Ln --timeout
  2. Timeout (tcp tcpfin udp): 900 120 300

查看自规则生效以来的ipvs统计信息

  1. [root@lvs-server ~]# ipvsadm -Ln --stats
  2. IP Virtual Server version 1.2.1 (size=4096)
  3. Prot LocalAddress:Port               Conns   InPkts  OutPkts  InBytes OutBytes
  4. -> RemoteAddress:Port
  5. TCP  10.0.0.50:80                         256     1384     1277   120316   140583
  6. -> 192.168.1.51:80                    128      699      639    60507    70060
  7. -> 192.168.1.52:8080                128      685      638    59809    70523
  8. Conns：已经转发过的连接数
  9. InPkts：流入包个数
  10. OutPkts：流出包个数
  11. InBytes：进入流量（字节）
  12. OutBytes：流出流量（字节）

查看速率信息

  1. [root@lvs-server ~]# ipvsadm -Ln --rate
  2. IP Virtual Server version 1.2.1 (size=4096)
  3. Prot LocalAddress:Port                 CPS    InPPS   OutPPS    InBPS   OutBPS
  4. -> RemoteAddress:Port
  5. TCP  10.0.0.50:80                             1        5           5           449       550
  6. -> 192.168.1.51:80                       0         3           2           228       275
  7. -> 192.168.1.52:8080                   0         3           2           221       275
  8. CPS：每秒的连接数
  9. InPPS：每秒流入包个数
  10. OutPPS：每秒流出包个数
  11. InBPS：每秒进入流量（字节）
  12. OutBPS：每秒流出流量（字节）

删除集群服务10.0.0.50:80中的RealServer192.168.1.51:80

  1. [root@lvs-server ~]# ipvsadm -d -t 10.0.0.50:80 -r 192.168.1.51:80
  2. [root@lvs-server ~]# ipvsadm -Ln
  3. IP Virtual Server version 1.2.1 (size=4096)
  4. Prot LocalAddress:Port Scheduler Flags
  5. -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
  6. TCP  10.0.0.50:80 rr
  7. -> 192.168.1.52:8080                   Masq      1            0                0

在配置完规则之后需要保存和重载，规则保存在/etc/sysconfig/ipvsadm文件中

  1. #保存ipvsadm规则至/etc/sysconfig/ipvsadm文件中
  2. [root@lvs-server ~]# ipvsadm -S >/etc/sysconfig/ipvsadm
  3. [root@lvs-server ~]# cat /etc/sysconfig/ipvsadm
  4. -A -t 10.0.0.50:http -s rr
  5. -a -t 10.0.0.50:http -r 192.168.1.52:webcache -m -w 1
  6. #清空所有规则
  7. [root@lvs-server ~]# ipvsadm -C
  8. [root@lvs-server ~]# ipvsadm -Ln
  9. IP Virtual Server version 1.2.1 (size=4096)
  10. Prot LocalAddress:Port Scheduler Flags
  11. -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
  12. #从文件中重载所有规则
  13. [root@lvs-server ~]# ipvsadm -R </etc/sysconfig/ipvsadm
  14. [root@lvs-server ~]# ipvsadm -Ln
  15. IP Virtual Server version 1.2.1 (size=4096)
  16. Prot LocalAddress:Port Scheduler Flags
  17. -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
  18. TCP  10.0.0.50:80 rr
  19. -> 192.168.1.52:8080                  Masq        1            0                0

修改集群服务10.0.0.50:80中的调度算法为sh

  1. [root@lvs-server ~]# ipvsadm -E -t 10.0.0.50:80 -s sh
  2. [root@lvs-server ~]# ipvsadm -Ln
  3. IP Virtual Server version 1.2.1 (size=4096)
  4. Prot LocalAddress:Port Scheduler Flags
  5. -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
  6. TCP  10.0.0.50:80 sh
  7. -> 192.168.1.52:8080                  Masq       1             0               0

修改集群服务10.0.0.50:80中的RealServer192.168.1.52映射端口为8081（因为没有监听8081端口，所以该命令会不生效）

  1. [root@lvs-server ~]# ipvsadm -e -t 10.0.0.50:80 -r 192.168.1.52:8081 -m