Nginx+keepalived实现负载均衡高可用配置

1. 什么是负载均衡高可用

nginx作为负载均衡器，所有请求都到了nginx，可见nginx处于非常重点的位置，如果nginx服务器宕机后端web服务将无法提供服务，影响严重。

为了屏蔽负载均衡服务器的宕机，需要建立一个备份机。主服务器和备份机上都运行高可用（High Availability）监控程序，通过传送诸如“I am alive”这样的信息来监控对方的运行状况。当备份机不能在一定的时间内收到这样的信息时，它就接管主服务器的服务IP并继续提供负载均衡服务；当备份管理器又从主管理器收到“I am alive”这样的信息时，它就释放服务IP地址，这样的主服务器就开始再次提供负载均衡服务。

2. keepalived的工作原理

keepalived是以VRRP协议为实现基础的，VRRP全称Virtual Router Redundancy Protocol，即虚拟路由冗余协议。

虚拟路由冗余协议，可以认为是实现路由器高可用的协议，即将N台提供相同功能的路由器组成一个路由器组，这个组里面有一个master和多个backup，master上面有一个对外提供服务的vip（VIP = Virtual IP Address，虚拟IP地址，该路由器所在局域网内其他机器的默认路由为该vip），master会发组播，当backup收不到VRRP包时就认为master宕掉了，这时就需要根据VRRP的优先级来选举一个backup当master。这样的话就可以保证路由器的高可用了。

keepalived主要有三个模块，分别是core、check和VRRP。core模块为keepalived的核心，负责主进程的启动、维护以及全局配置文件的加载和解析。check负责健康检查，包括常见的各种检查方式。VRRP模块是来实现VRRP协议的。

3. keepalived+nginx实现主备过程

正常情况下：

主机宕机：

主机恢复：

4. 配置keepalived

环境：两台nginx，一主一备：192.168.101.3和192.168.101.4。

4.1 配置主Nginx

修改主nginx下/etc/keepalived/keepalived.conf文件

!Configuration File for keepalived

#全局配置

global_defs {
   notification_email {  #指定keepalived在发生切换时需要发送email到的对象，一行一个
     [e-mail]
   }
   notification_email_from [e-mail]  #指定发件人
   #smtp_server XXX.smtp.com                             #指定smtp服务器地址
   #smtp_connect_timeout 30                              #指定smtp连接超时时间
   router_id LVS_DEVEL                                   #运行keepalived机器的一个标识
}

vrrp_instance VI_1 {
    state MASTER           #标示状态为MASTER 备份机为BACKUP
    interface eth0         #设置实例绑定的网卡
    virtual_router_id 51   #同一实例下virtual_router_id必须相同
    priority 100           #MASTER权重要高于BACKUP 比如BACKUP为99
    advert_int 1           #MASTER与BACKUP负载均衡器之间同步检查的时间间隔，单位是秒
    authentication {       #设置认证
        auth_type PASS     #主从服务器验证方式
        auth_pass 8888
    }

    virtual_ipaddress {    #设置vip
        192.168.101.100       #可以多个虚拟IP，换行即可
    }
}

4.2 配置备Nginx

修改备nginx下/etc/keepalived/keepalived.conf文件

配置备nginx时需要注意：需要修改state为BACKUP , priority比MASTER低，virtual_router_id和master的值一致

!Configuration File for keepalived

#全局配置
global_defs {
   notification_email {  #指定keepalived在发生切换时需要发送email到的对象，一行一个
    [e-mail]
   }
   notification_email_from [e-mail]   #指定发件人
   #smtp_server XXX.smtp.com                              #指定smtp服务器地址
   #smtp_connect_timeout 30                               #指定smtp连接超时时间
   router_id LVS_DEVEL                                    #运行keepalived机器的一个标识
}

vrrp_instance VI_1 {
    state BACKUP           #标示状态为MASTER 备份机为BACKUP
    interface eth0         #设置实例绑定的网卡
    virtual_router_id 51   #同一实例下virtual_router_id必须相同
    priority 99            #MASTER权重要高于BACKUP 比如BACKUP为99
    advert_int 1           #MASTER与BACKUP负载均衡器之间同步检查的时间间隔，单位是秒
    authentication {       #设置认证
        auth_type PASS     #主从服务器验证方式
        auth_pass 8888
    }

    virtual_ipaddress {    #设置vip
        192.168.101.100       #可以多个虚拟IP，换行即可
    }
}

4.3 测试

主备nginx都启动keepalived及nginx。

service keepalived start
./nginx

4.3.1 初始状态

查看主nginx的eth0设置：

vip绑定在主nginx的eth0上。

查看备nginx的eth0设置：

vip没有绑定在备nginx的eth0上。

访问ccc.test.com，可以访问。

4.3.2 主机宕机

将主nginx的keepalived停止或将主nginx关机(相当于模拟宕机)，查看主nginx的eth0：

eth0没有绑定vip

注意这里模拟的是停止 keepalived进程没有模拟宕机，所以还要将nginx进程也停止表示主nginx服务无法提供。

查看备nginx的eth0：

vip已经漂移到备nginx。

访问ccc.test.com，可以访问。

4.3.3 主机恢复

将主nginx的keepalived和nginx都启动。

查看主nginx的eth0，vip漂移到主nginx：

查看备nginx的eth0：

eth0没有绑定vip。

访问：ccc.test.com，正常访问。

注意：主nginx恢复时一定要将nginx也启动（通常nginx启动要加在开机启动中），否则即使vip漂移到主nginx也无法访问。

5. 解决nginx进程和keepalived不同时存在问题

5.1 问题描述

keepalived是通过检测keepalived进程是否存在判断服务器是否宕机，如果keepalived进程在但是nginx进程不在了那么keepalived是不会做主备切换，所以我们需要写个脚本来监控nginx进程是否存在，如果nginx不存在就将keepalived进程杀掉。

5.2 nginx进程检测脚本

在主nginx上需要编写nginx进程检测脚本（check_nginx.sh），判断nginx进程是否存在，如果nginx不存在就将keepalived进程杀掉，check_nginx.sh内容如下：

#!/bin/bash
# 如果进程中没有nginx则将keepalived进程kill掉
A=`ps -C nginx --no-header |wc -l`      ## 查看是否有 nginx进程 把值赋给变量A
if [ $A -eq 0 ];then                    ## 如果没有进程值得为 零
       service keepalived stop          ## 则结束 keepalived 进程
fi

将check_nginx.sh拷贝至/etc/keepalived下，

脚本测试：

将nginx停止，将keepalived启动，执行脚本：sh /etc/keepalived/check_nginx.sh

从执行可以看出自动将keepalived进程kill掉了。

5.3 修改keepalived.conf

修改主nginx的keepalived.conf，添加脚本定义检测：

注意下边红色标识地方：

#全局配置

global_defs {
   notification_email {  #指定keepalived在发生切换时需要发送email到的对象，一行一个
     [e-mail]
   }
   notification_email_from [e-mail]  #指定发件人
   #smtp_server XXX.smtp.com                             #指定smtp服务器地址
   #smtp_connect_timeout 30                               #指定smtp连接超时时间
   router_id LVS_DEVEL                                    #运行keepalived机器的一个标识
}

vrrp_script check_nginx {
    script "/etc/keepalived/check_nginx.sh"         ##监控脚本
    interval 2                                      ##时间间隔，2秒
    weight 2                                        ##权重
}

vrrp_instance VI_1 {
    state MASTER           #标示状态为MASTER 备份机为BACKUP
    interface eth0         #设置实例绑定的网卡
    virtual_router_id 51   #同一实例下virtual_router_id必须相同
    priority 100           #MASTER权重要高于BACKUP 比如BACKUP为99
    advert_int 1           #MASTER与BACKUP负载均衡器之间同步检查的时间间隔，单位是秒
    authentication {       #设置认证
        auth_type PASS     #主从服务器验证方式
        auth_pass 8888
    }

   track_script {
        check_nginx        #监控脚本
   }

    virtual_ipaddress {    #设置vip
        192.168.101.100       #可以多个虚拟IP，换行即可
    }
}

修改后重启keepalived

5..4 测试

回到负载均衡高可用的初始状态，保证主、备上的keepalived、nginx全部启动。

停止主nginx服务

观察keepalived日志：

tail -f /var/log/keepalived.log

查看keepalived进程已经不存在。

查看eth0已经没有绑定vip。