LVS + Keepalived 实现高可用、负载均衡 Web 集群

时间:2022-08-01 03:03:26


简介:

LVS 是 Linux Virtual Server 的简写,Linux 虚拟服务器的意思,是一个虚拟的服务器集群系统,此项目由章文嵩博士于 1998 年 5 月成立,是中国最早出现的*软件项目之一。

LVS 负载均衡集群系统的优点:

1、提高吞吐量

想获得更高的吞吐量,在 LVS 中只需增加 Real-server 即可,其开销只是线性增长。如选择更换一台更高性能的服务器来获得相当的吞吐量,开销要大很多。

2、冗余

如果 LVS 中某台 Real-server 由于需要升级或其它原因不能对外提供服务,其退出及恢复工作并不会对用户造成服务中断。

3、适应性

不管是需要吞吐量逐渐变化、还是快速变化,服务器的增减对客户都是透明的。

LVS 负载均衡集群系统的三种转发机制:

1、Virtual Server via NAT ( VS/NAT )

VS/NAT 网络地址转换模式,服务器可以运行任何支持 TCP/IP 协议的操作系统,它只需要一个公网 IP 地址配置在 LVS 主机上,后端真实服务器都可以使用私有地址。
它的缺点是扩充能力有限,当后端真实服务器达到一定数量时,LVS 本机有可能成为集群瓶颈,因为整个集群中的客户端请求和响应封包都要通过 LVS 负载均衡主机。

2、Virtual Server via IP Tunneling ( VS/TUN )

VS/TUN IP 隧道模式,负载均衡 LVS 主机只将请求分配到不同的真实服务器,真实服务器将结果直接返回给客户端。这样 LVS 可以处理海量的请求,而不会成为集群系统瓶颈。
并且 IP 隧道模式不限制真实服务器位置,只要系统支持 IP 隧道协议并且网络可达就可以。多了一层 IP 隧道的开销,且并不是所有系统都支持此协议。

3、Virtual Server via Direct Routing ( VS/DR )

VS/DR 直接路由模式,同样 LVS 主机只处理客户端到服务器端的连接,响应信息由真实服务器直接返回给客户端。
DR 模式要求所有真实服务器必须至少有一块网卡与 LVS 主机在同一物理网段中,且真实服务器网络设备或设备别名不作 ARP 响应。

Keepalived 起初是 LVS 设计的,专门用来监控集群系统中各个服务节点的状态,后来又加入了 VRRP( 虚拟路由冗余协议 )解决静态路由出现的单点故障问题,
通过 VRRP 协议可以实现网络不间断稳定运行。因此,Keepalived 不仅具有服务器状态检测和故障隔离功能,还具有 HA Cluster 功能。

Keepalived 作为 LVS 的扩展项目,因此。Keepalived 可以与 LVS 无缝整合,轻松构建一套高性能的负载均衡集群系统。

环境描述:( CentOS 6.6_x86_64 minimal )

LVS VIP 192.168.214.50

LVS Master 192.168.214.20
LVS Backup 192.168.214.30

Real-Server-1 192.168.214.10
Real-Server-1 192.168.214.40

软件包下载地址:

Ipvsadm http://www.linuxvirtualserver.org/software/kernel-2.6/ipvsadm-1.26.tar.gz
Keepalived http://www.keepalived.org/software/keepalived-1.2.10.tar.gz

一、安装环境依赖包

shell > yum install -y gcc gcc-c++ makepcre pcre-devel kernel-devel openssl-devel libnl-devel popt-devel popt-static

二、下载、安装 ipvsadm 、keepalived

shell > wget http://www.linuxvirtualserver.org/software/kernel-2.6/ipvsadm-1.26.tar.gz

shell
> tar zxf ipvsadm-1.26.tar.gz

shell
> cd ipvsadm-1.26

shell
> make ; make install

shell
> ipvsadm -v
ipvsadm v1.
26 2008/5/15 (compiled with popt and IPVS v1.2.1)

## 安装还是很简单的

shell > wget http://www.keepalived.org/software/keepalived-1.2.10.tar.gz

shell
> tar zxf keepalived-1.2.10.tar.gz

shell
> cd keepalived-1.2.10

shell
> ./configure --sysconf=/etc --with-kernel-dir=/usr/src/kernels/2.6.32-504.23.4.el6.x86_64

##
--sysconf 指定 keepalived.conf 的存放位置 --with-kernel-dir 指定使用内核源码中的头文件,即 include 目录

shell
> make ; make install

shell
> ln -s /usr/local/sbin/keepalived /sbin/

shell
> keepalived -v
Keepalived v1.
2.10 (07/01,2015)

## 安装也是蛮简单的

三、配置 keepalived.conf

shell > vim /etc/keepalived/keepalived.conf

! Configuration File for keepalived

global_defs {
router_id MASTER ## keepalived 服务器标识符,可以随意设定( 貌似也是全局唯一 )
}

vrrp_instance VI_1 { ## 定义一个名为 VI_1 的 VRRP 实例
state MASTER ## Keepalived 服务器角色,MASTER 为主、BACKUP 为备
interface eth0 ## 指定 HA 监测网络接口
virtual_router_id
51 ## 虚拟路由标识,同一个 VRRP 实例使用唯一的标识,主备必须一样
priority
100 ## 节点优先级,同一 VRRP 实例中 MASTER 的优先级必须大于 BACKUP
advert_int
1 ## MASTER / BACKUP 之间同步检查间隔时间,单位 秒
authentication { ## 节点之间通信验证类型、密码 ,同一 VRRP 实例中,MASTER
/ BACKUP 必须使用相同的密码才可以通信
auth_type PASS
auth_pass
888
}
virtual_ipaddress { ## 虚拟 IP 地址,又称漂移 IP 。可以通过 ip add 在 MASTER 上查看是否绑定
192.168.214.50
}
}

virtual_server
192.168.214.50 80 { ## 定义虚拟服务器
delay_loop
6 ## 定义健康检查时间间隔,单位 秒
lb_algo rr ## 负载均衡调度算法,支持 rr 、wrr 、lc 、wlc 、lblc 、
sh 、dh 等
lb_kind DR ## LVS 负载均衡机制,支持 NAT 、TUN 、DR
nat_mask
255.255.255.0 ## 子网掩码
persistence_timeout
120 ## 会话保持时间,单位 秒。提供动态页面 session 保持功能,同一 IP 该值时间内被持续分配到同一台节点服务器上
protocol TCP ## 转发协议类型,支持 TCP 、UDP

real_server
192.168.214.10 80 { ## 定义节点服务器
weight
1 ## 节点权重值,数字越大权重越高,分配到的连接越多。主要用于后端节点服务器性能不统一
notify_down
/etc/keepalived/real_down.sh ## 该节点服务器处于 DOWN 状态后执行的脚本
TCP_CHECK { ## 健康检测方式,支持 HTTP_GET 、SSL_GET 、TCP_CHECK 、SMTP_CHECK 、MISC_CHECK
connect_port
80 ## 检测端口,不指定时默认为 real_server 指定的端口
connect_timeout
3 ## 无响应超时时间,单位 秒
nb_get_retry
3 ## 重试次数
delay_before_retry
3 ## 重试间隔,单位 秒
}
}
real_server
192.168.214.40 80 { ## 第二台节点服务器
weight
1
notify_down
/etc/keepalived/real_down.sh
TCP_CHECK {
connect_port
80
connect_timeout
3
nb_get_retry
3
delay_before_retry
3
}
}
}
shell > vim /etc/keepalived/real_down.sh

#
!/bin/bash

Mail
='admin@mail.com'

echo "Real Server State is DOWN" | mail -s "Keepalived Mail" $Mail

## 当 real server 处于 DOWN 状态时执行的脚本,LVS 要启动 Sendmail 、Postfix 或其它邮件服务

四、启动 Keepalived 并加入开机启动、配置防火墙规则

shell > /etc/init.d/keepalived start

shell
> chkconfig --add keepalived

shell
> chkconfig --level 35 keepalived on

shell
> iptables -I INPUT 4 -p tcp --dport 80 -j ACCEPT

shell
> service iptables save

## 现在使用 ip add 可以看到绑定了 VIP ,并且 /var/log/messages 日志文件中也有关于 VIP 绑定、real server 的检测结果

五、以上都是在 MASTER 主机的操作,下面配置 BACKUP 主机

## 步骤一、二、四完全一样,主要将步骤三的 keepalived.conf 中 router_id 、state 、priority 修改为 BACKUP 、BACKUP 、80 即可

## 同样可以使用 ip add 查看 VIP 信息,不过它现在是 BACKUP 状态,没有绑定 VIP 为正常,通过 /var/log/messages 日志文件可以看到处于 BACKUP 状态。

六、配置 Real-server ,后端节点服务器

Real-Server-1

shell > yum -y install httpd

shell
> echo "welcome to Real-Server-1" > /var/www/html/index.html

shell
> /etc/init.d/httpd start

shell
> iptables -I INPUT -p tcp --dport 80 -j ACCEPT

Real-Server-2

shell > yum -y install httpd

shell
> echo "welcome to Real-Server-2" > /var/www/html/index.html

shell
> /etc/init.d/httpd start

shell
> iptables -I INPUT -p tcp --dport 80 -j ACCEPT
shell > vim /etc/init.d/realserver.sh  ## Real-Server-1 / Real-Server-2 都要建立此脚本,并设为开机启动

#
!/bin/bash

VIP
='192.168.214.50'

.
/etc/init.d/functions

case "$1" in
start)
/sbin/ifconfig lo:0 $VIP broadcast $VIP netmask 255.255.255.255 up
echo "1" > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" > /proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" > /proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" > /proc/sys/net/ipv4/conf/all/arp_announce
echo " LVS Real-Server Start Success"
;;
stop)
/sbin/ifconfig lo:0 down
echo "0" > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo "0" > /proc/sys/net/ipv4/conf/lo/arp_announce
echo "0" > /proc/sys/net/ipv4/conf/all/arp_ignore
echo "0" > /proc/sys/net/ipv4/conf/all/arp_announce
echo " LVS Real-Server Stop Success"
;;
*)
echo "Usage: $0 ( start | stop )"
exit
1
esac

shell
> chmod a+x /etc/init.d/realserver.sh

shell
> /etc/init.d/realserver.sh start

shell
> echo "/etc/init.d/realserver.sh start" >> /etc/rc.local ## 加入开机启动

## 此脚本用于节点服务器绑定 VIP ,并抑制响应 VIP 的 ARP 请求。
## 这样做的目的是为了不让关于 VIP 的 ARP 广播时,节点服务器应答( 因为节点服务器都绑定了 VIP ,如果不做设置它们会应答,就会乱套 )

七、测试

1、首先单独测试节点服务器能不能访问

## 单独访问 192.168.214.10 192.168.214.40 ,如果可以看到页面显示 Welcome to Real-Server-1 和 Welcome to Real-Server-2 则节点服务器正常

2、分别查看节点服务器是否都绑定了 VIP

## 分别在节点服务器上使用 ifconfig lo:0 ,如果可以看到 lo:0 虚拟网卡被绑定了 VIP 192.168.214.50 则节点服务器正常

3、首先查看 MASTER 服务器有没有绑定 VIP ,状态是不是 MASTER ,检测后端节点服务器是不是成功

## 使用 ip add 查看是否绑定 VIP ,tail /var/log/messages 查看服务器状态是不是 MASTER ,检测节点服务器有没有连接成功信息:

Jul 2 17:38:44 localhost Keepalived_healthcheckers[1015]: TCP connection to [192.168.214.10]:80 success.
Jul
2 17:38:44 localhost Keepalived_healthcheckers[1015]: Adding service [192.168.214.10]:80 to VS [192.168.214.50]:80

Jul
2 17:44:01 localhost Keepalived_healthcheckers[1015]: TCP connection to [192.168.214.40]:80 success.
Jul
2 17:44:01 localhost Keepalived_healthcheckers[1015]: Adding service [192.168.214.40]:80 to VS [192.168.214.50]:80

## 服务器状态信息:

Jul 2 13:07:48 localhost Keepalived_vrrp[1016]: VRRP_Instance(VI_1) Transition to MASTER STATE
Jul
2 13:07:49 localhost Keepalived_vrrp[1016]: VRRP_Instance(VI_1) Entering MASTER STATE
Jul
2 13:07:49 localhost Keepalived_vrrp[1016]: VRRP_Instance(VI_1) setting protocol VIPs.
Jul
2 13:07:49 localhost Keepalived_vrrp[1016]: VRRP_Instance(VI_1) Sending gratuitous ARPs on eth0 for 192.168.214.50
Jul
2 13:07:49 localhost Keepalived_healthcheckers[1015]: Netlink reflector reports IP 192.168.214.50 added

4、同样查看 BACKUP 服务器有没有绑定 VIP ,状态是不是 BACKUP ,检测后端节点服务器是不是成功

## 发现没有绑定 VIP 为正常,状态为 BACKUP 为正常,同样能够检测到后端节点服务器为正常,相关信息如下:

Jul 2 17:27:06 localhost Keepalived_vrrp[1017]: VRRP_Instance(VI_1) Entering BACKUP STATE
Jul
2 17:27:06 localhost Keepalived_vrrp[1017]: VRRP sockpool: [ifindex(2), proto(112), unicast(0), fd(11,12)]
Jul
2 17:27:06 localhost Keepalived_healthcheckers[1016]: Using LinkWatch kernel netlink reflector...

Jul
2 17:38:40 localhost Keepalived_healthcheckers[1016]: TCP connection to [192.168.214.10]:80 success.
Jul
2 17:38:40 localhost Keepalived_healthcheckers[1016]: Adding service [192.168.214.10]:80 to VS [192.168.214.50]:80

Jul
2 17:44:01 localhost Keepalived_healthcheckers[1016]: TCP connection to [192.168.214.40]:80 success.
Jul
2 17:44:01 localhost Keepalived_healthcheckers[1016]: Adding service [192.168.214.40]:80 to VS [192.168.214.50]:80

5、客户端访问 VIP 测试负载均衡

## 直接访问 192.168.214.50 ,如果可以访问到页面证明成功。
## 当多次访问后发现,页面并没有发生变化,也就是说并没有负载均衡。
## 在 MASTER 上使用 ipvsadm -Ln 命令看到的信息如下:

shell > ipvsadm -Ln

IP Virtual Server version
1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP
192.168.214.50:80 rr persistent 120
-> 192.168.214.10:80 Route 1 0 0
-> 192.168.214.40:80 Route 1 0 87

## 发现有 87 次访问都被分配到了 192.168.214.40 这台节点服务器上,这正常吗 ?
## 不要着急,这是正常的!还记得大明湖畔的夏雨荷吗?哦不,还记得 persistence_timeout 120 这个参数吗?
## 正因为设置了 session 保持时间,所以持续的访问被分配到了某一台节点服务器。
## 现在把此参数注释掉,测试一次( 记得重启 keepalived )。

shell > ipvsadm -Ln

IP Virtual Server version
1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP
192.168.214.50:80 rr
-> 192.168.214.10:80 Route 1 0 26
-> 192.168.214.40:80 Route 1 0 26

## 可以看到请求被均衡的分配到了现台节点服务器上( rr 轮询调度算法 ),并且页面也在两台节点服务器上切换。

## 当节点服务器宕机后会发生什么 ?

shell > tail /var/log/messages

Jul
2 18:38:36 localhost Keepalived_healthcheckers[1636]: TCP connection to [192.168.214.40]:80 failed !!!
Jul
2 18:38:36 localhost Keepalived_healthcheckers[1636]: Removing service [192.168.214.40]:80 from VS [192.168.214.50]:80

## 检测失败,节点服务器 192.168.214.40 被从 IPVS 中移除

shell > ipvsadm -Ln

IP Virtual Server version
1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP
192.168.214.50:80 rr
-> 192.168.214.10:80 Route 1 0 17

## 宕机的节点服务器被移除了

Jul 2 18:45:48 localhost Keepalived_healthcheckers[1705]: TCP connection to [192.168.214.40]:80 success.
Jul
2 18:45:48 localhost Keepalived_healthcheckers[1705]: Adding service [192.168.214.40]:80 to VS [192.168.214.50]:80

## 当节点服务器修复后,会自动将节点服务器加入集群中。

6、客户端访问 VIP 测试高可用

## 当 MASTER 服务器无法提供服务时,VIP 会在 MASTER 上自动移除,BACKUP 服务器会提升为 MASTER 状态,绑定 VIP 、接管服务。
## 当 MASTER 修复加入网络后,会自动抢回 VIP ,成为 MASTER 身份。这再繁忙的网络环境中是不理想的。
## 可以通过 nopreempt 参数来设置不抢占功能,设置此参数时需要注意,必须将之前修复的 MASTER 机器状态设为 BACKUP ,优先级还保持最高。