总概:
Keepalived是一个类似于layer3, 4 & 5交换机制的软件,也就是我们平时说的第3层、第4层和第5层交换。Keepalived的作用是检测web服务器的状态,如果有一台web服务器死机,或工作出现故障,Keepalived将检测到,并将有故障的web服务器从系统中剔除,当web服务器工作正常后Keepalived自动将web服务器加入到服务器群中,这些工作全部自动完成,不需要人工干涉,需要人工做的只是修复故障的web服务器
HAProxy提供高可用性、负载均衡以及基于TCP和HTTP应用的代理,支持虚拟主机,它是免费、快速并且可靠的一种解决方案。HAProxy特别适用于那些负载特大的web站点,这些站点通常又需要会话保持或七层处理。HAProxy运行在当前的硬件上,完全可以支持数以万计的并发连接。并且它的运行模式使得它可以很简单安全的整合进您当前的架构中, 同时可以保护你的web服务器不被暴露到网络上。
这里我利用HAproxy对多台redis服务器进行负载,然后用Keepalived对HAproxy进行监控:
(主)服务器A:10.10.51.231
(从)服务器B:10.10.51.232
VIP:10.10.51.230
Keepalived监控A、B上的HAproxy,利用Keepalived的VIP漂移技术,若A、B上的HAprox都工作正常,则VIP与优先级别高的服务器(主服务器)绑定,当主服务器当掉时,则与从服务器绑定,而VIP则是暴露给外部访问的ip;HAproxy利用Keepalived生产的VIP对多台redis(从)进行读负载,当某台redis当掉,则将其移除,回复后加入集群。
一、安装keepalived
1、下载后解压 tar zxvf keepalived-1.2.7.tar.gz 到任意目录
[root@Centos-Server ~]# tar zxvf keepalived-1.2.7.tar.gz -C /usr/local/keepalived
解压后,进入keepalived目录
[root@Centos-Server ~]# cd /usr/local/keepalived [root@Centos-Server ~]# ./configure [root@Centos-Server ~]# make && make install
注:若这里报错提示没有装openssl,则执行[root@Centos-Server ~]# yum –y install openssl-devel安装,若还有其他的包没装,则执行yum命令进行安装。
2、配置keepalived
[root@Centos-Server ~]# cp /usr/local/etc/rc.d/init.d/keepalived /etc/rc.d/init.d/ [root@Centos-Server ~]# cp /usr/local/etc/sysconfig/keepalived /etc/sysconfig/ [root@Centos-Server ~]# mkdir /etc/keepalived [root@Centos-Server ~]# cp /usr/local/etc/keepalived/keepalived.conf /etc/keepalived/ [root@Centos-Server ~]# ln -s /usr/local/sbin/keepalived /usr/sbin/
[root@Centos-Server ~]# vi /etc/keepalived/keepalived.conf ! Configuration File for keepalived global_defs { router_id LVS_DEVEL } vrrp_script chk_haproxy { #Haproxy服务启动 script "/etc/keepalived/check_haproxy.sh" #监控haproxy进程的脚本, 根据自己的实际路径放置 interval 2 weight -4 }
vrrp_instance VI_1 { state MASTER #主机为MASTER,备机为BACKUP interface eth0 #监测网络端口,用ipconfig查看 virtual_router_id 51 #主备机必须相同 priority 150 #主备机取不同的优先级,主机要大。从服务器上改为120 advert_int 1 #VRRP Multicast广播周期秒数 authentication { auth_type PASS #VRRP认证方式 auth_pass 1111 #VRRP口令 主备机密码必须相同 }
track_script { #调用haproxy进程检测脚本 chk_haproxy } virtual_ipaddress { 10.10.51.230 #VIP 漂移地址 即集群IP地址 } }
[root@Centos-Server ~]# vim /etc/keepalived/check_haproxy.sh #!/bin/bash if [ $(ps -C haproxy --no-header | wc -l) -eq 0 ]; then /usr/local/haproxy/sbin/haproxy -f /usr/local/haproxy/haproxy.cfg sleep 3
if [ $(ps -C haproxy --no-header | wc -l) -eq 0 ]; then /etc/init.d/keepalived stop fi fi
此文件root组读写权限,并且允许程序执行此文件。
[root@Centos-Server ~]# chmod 777 /etc/keepalived/check_haproxy.sh
三、安装HAproxy
1、下载后解压 tar zxvf haproxy-1.4.24.tar.gz 到任意目录
解压后,进入Haproxy目录
[root@Centos-Server ~]# cd /usr/local/haproxy-1.4.24 [root@Centos-Server ~]# make TARGET=linux26 PREFIX=/usr/local/haproxy [root@Centos-Server ~]# make install PREFIX=/usr/local/haproxy #将Haproxy安装到/usr/local/haproxy
2、配置HAproxy
[root@Centos-Server ~]# cd /usr/local/haproxy [root@Centos-Server ~]# vim haproxy.cfg
注:这里是没有haproxy.cfg文件的,可以回到安装文件目录下将examples下的haproxy.cfg拷贝到usr/local/haproxy下。
[root@Centos-Server haproxy-1.5.11]# cp /usr/local/mypackages/haproxy-1.5.11/examples/haproxy.cfg /usr/local/haproxy
####################HAProxy配置中分成五部分内容,当然这些组件不是必选的,可以根据需要选择部分作为配置。 #global :参数是进程级的,通常和操作系统(OS)相关。这些参数一般只设置一次,如果配置无误,就不需要再次配置进行修改 #defaults:配置默认参数的,这些参数可以被利用配置到frontend,backend,listen组件 #frontend:接收请求的前端虚拟节点,Frontend可以根据规则直接指定具体使用后端的 backend(可动态选择)。 #backend :后端服务集群的配置,是真实的服务器,一个Backend对应一个或者多个实体服务器。 #listen :Frontend和Backend的组合体。 global log 127.0.0.1 local0 #日志输出配置,所有日志都记录在本机,通过local0输出 maxconn 4096 #限制单个进程的最大连接数 chroot /usr/local/haproxy #Haproxy安装目录 uid 99 #所属运行用户,默认99为nobody gid 99 #所属运行用户组,默认99为nobody daemon #让进程作为守护进程在后台运行 nbproc 1 #指定作为守护进程运行时的进程数 pidfile /usr/local/haproxy/haproxy.pid #将所有进程写入pid文件 defaults log global mode tcp #所处理的类别,默认采用http模式,可配置成tcp作4层消息转发 maxconn 4096 #限制单个进程的最大连接数 option httplog #http 日志格式 option dontlognull #不记录空连接 option forwardfor #如果后端服务器需要获得客户端真实ip需要配置的参数,可以从Http Header中获得客户端ip option httpclose #每次请求完毕后主动关闭http通道,haproxy不支持keep-alive,只能模拟这种模式的实现 option abortonclose #当服务器负载很高的时候,自动结束掉当前队列处理比较久的连接 option redispatch #在连接失败或断开的情况下,允许当前会话被重新分发 retries 3 #设置在一个服务器上链接失败后的重连次数 balance source #表示根据请求源IP,这个跟Nginx的IP_hash机制类似,我们用其作为解决session问题的一种方法。 timeout client 30s #设置客户端的最大超时时间(毫秒) timeout connect 5s #设置等待连接到服务器成功的最大时间 timeout server 30s #设置服务器端的最大超时时间 timeout check 5s #心跳检测时间 #前端代理 Redis frontend Redis bind *:6379 default_backend RedisServer #后端分发 Redis backend RedisServer mode tcp balance source server redis-233 10.10.51.233:6379 check inter 2000 fall 5 server redis-234 10.10.51.234:6379 check inter 2000 fall 5 server redis-235 10.10.51.235:6379 check inter 2000 fall 5 #前端代理 Web frontend WebSite bind 10.10.51.230:80 #这里建议使用bind *:80的方式,要不然做集群高可用的时候有问题,vip切换到其他机器就不能访问了。 acl WwwSite hdr(host) -i www.ccav.com #acl后面是规则名称,-i是要访问的域名,如果访问www.zhirs.com这个域名就分发到下面的webserver 的作用域。 acl ImgSite hdr(host) -i res.ccav.com #如果访问img.baison.com.cn就分发到imgserver这个作用域。 use_backend WwwSiteServer if WwwSite use_backend ImgSiteServer if ImgSite #后台分发 Web backend WwwSiteServer mode http balance source #banlance roundrobin 轮询,balance source 保存session值,支持static-rr,leastconn,first,uri等 option httpchk /index.html #检测文件,如果分发到后台index.html 访问不到就不再分发给它 server web01 10.10.51.241:80 check inter 2000 fall 3 weight 30 server web02 10.10.51.242:80 check inter 2000 fall 3 weight 20 backend ImgSiteServer mode http option httpchk /index.html balance roundrobin server web03 10.10.51.243:80 check inter 2000 fall 3 weight 10 # weight - 调节服务器的负重 # check - 允许对该服务器进行健康检查 # inter - 设置连续的两次健康检查之间的时间,单位为毫秒(ms),默认值 2000(ms) # rise - 指定多少次连续成功的健康检查后,可认定该服务器处于可操作状态,默认值 2 # fall - 指定多少次不成功的健康检查后,认为服务器为当掉状态,默认值 3 # maxconn - 指定可被发送到该服务器的最大并发连接数 #状态检测 listen status 10.10.51.231:8080 #监控页面的端口 mode http stats enable stats refresh 10s #统计页面自动刷新时间 stats uri /haproxy-admin #监控页面的访问地址 stats realm Haproxy\ Statistics #统计页面密码框上提示文本 stats auth ccav:123456 #统计页面用户名和密码设置 stats hide-version #隐藏统计页面上HAProxy的版本信息
3、加上日志支持
[root@Centos-Server ~]# vim /etc/rsyslog.conf #在最下边增加 local3.* /var/log/haproxy.log local0.* /var/log/haproxy.log
[root@Centos-Server ~]# vim /etc/sysconfig/rsyslog 修改: SYSLOGD_OPTIONS="-r -m 0" [root@Centos-Server ~]# service rsyslog restart #重启日志服务
三、测试
1、启动Keepalived:
[root@Centos-Server ~]# /usr/local/keepalived/bin/keepalived -D -f /etc/keepalived/keepalived.conf #指定启动配置文件
正在启动 keepalived: [确定] #说明:Keepalived启动后会去检查HAproxy,若HAproxy未启动,则启动HAproxy,若启动HAproxy失败,则关闭Keepalived
2、启动Haproxy:
[root@Centos-Server ~]# /usr/local/haproxy/sbin/haproxy -f /usr/local/haproxy/haproxy.cfg #启动 [root@Centos-Server ~]# /usr/local/haproxy/sbin/haproxy -f /usr/local/haproxy/haproxy.cfg -st `cat /usr/local/haproxy/logs/haproxy.pid` #重启 [root@Centos-Server ~]# killall haproxy #停止
PS:haproxy启动故障:Starting proxy cluster: cannot bind socket
[root@Centos-Server ~]# /etc/sysctl.conf #修改内核参数 net.ipv4.ip_forward = 1 net.ipv4.ip_nonlocal_bind=1 #没有就新增此条记录 [root@Centos-Server ~]# sysctl -p #保存结果,使结果生效。
3、查看keepalived状况:
[root@alex]# service keepalived status keepalived (pid 5420) 正在运行...
4、查看HAproxy状况:
[root@alex]# ps -aux|grep haproxy Warning: bad syntax, perhaps a bogus '-'? See /usr/share/doc/procps-3.2.8/FAQ nobody 5430 0.0 0.0 11980 944 ? Ss 16:37 0:00 /usr/local/haproxy/sbin/haproxy –f /usr/local/haproxy/haproxy.conf nobody 5431 0.0 0.0 11980 944 ? Ss 16:37 0:00 /usr/local/haproxy/sbin/haproxy -f /usr/local/haproxy/haproxy.conf root 5618 0.0 0.0 103252 844 pts/2 S+ 16:38 0:00 grep haproxy
Keepalived启动后自动将HAproxy启动了。
5、查看Keepalived生成的VIP是否与主服务器绑定
[root@alex]# ip addr 1: lo: <LOOPBACK,UP,LOWER_UP> mtu 16436 qdisc noqueue state UNKNOWN link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 inet 127.0.0.1/8 scope host lo inet6 ::1/128 scope host valid_lft forever preferred_lft forever 2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UNKNOWN qlen 1000 link/ether 08:00:27:42:71:2d brd ff:ff:ff:ff:ff:ff inet 10.10.51.231/24 brd 192.168.4.255 scope global eth5 inet 10.10.51.230/32 scope global eth5 inet6 fe80::a00:27ff:fe42:712d/64 scope link valid_lft forever preferred_lft forever
VIP绑定OK!
6、打开HAproxy的图形管理界面:
浏览器输入http://localhost:8080/haproxy-admin
用户名:ccav 密码:123456
这时候我们Kill掉HAproxy,Keepalived检查到后会重新将HAproxy启动。
[root@alex sysconfig]# killall haproxy
刷新页面,可以看到HAproxy的pid改变了。
7、这时我们将主服务器上的keepalived当掉,看VIP是否漂移到了从服务器上,从服务器接管服务。
A、主服务器上:
[root@Centos-Server ~]# killall keepalived [root@Centos-Server ~]# ip addr 1: lo: <LOOPBACK,UP,LOWER_UP> mtu 16436 qdisc noqueue state UNKNOWN link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 inet 127.0.0.1/8 scope host lo inet6 ::1/128 scope host valid_lft forever preferred_lft forever 2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UNKNOWN qlen 1000 link/ether 08:00:27:42:71:2d brd ff:ff:ff:ff:ff:ff inet 10.10.51.231/24 brd 192.168.4.255 scope global eth5 inet6 fe80::a00:27ff:fe42:712d/64 scope link valid_lft forever preferred_lft forever
B、从服务器上:
[root@Centos-Server ~]# ip addr 1: lo: <LOOPBACK,UP,LOWER_UP> mtu 16436 qdisc noqueue state UNKNOWN link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 inet 127.0.0.1/8 scope host lo inet6 ::1/128 scope host valid_lft forever preferred_lft forever 2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UNKNOWN qlen 1000 link/ether 08:00:27:be:47:90 brd ff:ff:ff:ff:ff:ff inet 10.10.51.232/24 brd 192.168.4.255 scope global eth6 inet 10.10.51.230/32 scope global eth6 inet6 fe80::a00:27ff:febe:4790/64 scope link valid_lft forever preferred_lft forever
VIP漂移OK!
8、这时候重启主服务器的Keepalived,查看VIP是否漂移回来。
[root@Centos-Server ~]# service keepalived start 正在启动 keepalived: [确定] [root@Centos-Server ~]# ip addr 1: lo: <LOOPBACK,UP,LOWER_UP> mtu 16436 qdisc noqueue state UNKNOWN link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 inet 127.0.0.1/8 scope host lo inet6 ::1/128 scope host valid_lft forever preferred_lft forever 2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UNKNOWN qlen 1000 link/ether 08:00:27:42:71:2d brd ff:ff:ff:ff:ff:ff inet 10.10.51.231/24 brd 192.168.4.255 scope global eth5 inet 10.10.51.230/32 scope global eth5 inet6 fe80::a00:27ff:fe42:712d/64 scope link valid_lft forever preferred_lft forever
VIP漂移到主服务器!