LVS+HEARTBEAT集群安装配置

时间:2022-08-01 03:03:08
LVS是均衡负载集群,它由调度服务器和真实服务器组成,Heartbeat可以让调度服务器互为备份,从而达到高可用的目的。   集群拓扑如下图:

LVS+HEARTBEAT集群安装配置 文档配置环境:

主调度器A222.76.222.69(eth0) 内网:192.168.1.69(eth1)

从调度器B222.76.222.75(eth0) 内网:192.168.1.75(eth1)

真实服务器R1222.76.222.71

真实服务器R2222.76.222.72

真实服务器R3222.76.222.73

虚拟IP(VIP)222.76.222.70

 

 

在调度器AB/etc/hosts内加入以下内容:

 

vi /etc/hosts

 

222.76.222.69         master.abc.cn

222.76.222.75         slave.abc.cn

   

 

配置主调度器A:

 

安装libnet-1.1.2.1.tar.gz

tar �Czxvf  libnet-1.1.2.1.tar.gz

cd libnet-1.1.2.1

./configure

make && make install

libnet安装完成。

 

安装ipvsadm-1.24.tar.gz

tar �Czxvf ipvsadm-1.24.tar.gz

cd ipvsadm-1.24

将当前使用内核连接到/usr/src/linux

ln -s /usr/src/kernels/`uname -a` /usr/src/linux

//将当前使用内核连接到/usr/src/linux

(需要用`uname -a`来看系统的内核版本是多少)

make && make install

ipvsadm安装完成。

 

安装heartbeat-2.0.2.tar.gz

tar �Czxvf heartbeat-2.0.2.tar.gz

cd heartbeat-2.0.2

./ConfigureMe configure --disable-swig --disable-snmp-subagent

make && make install

heartbeat安装完成。

 

配置lvs启动脚本

本文档采用的是lvs-DR模式,该模式的特点是客户端的请求从调度器进入分配到真实服务器,然后真实服务器的响应是直接交付给客户端的。

配置如下:

vi /etc/init.d/lvs

 

 

#!/bin/sh

#chkconfig: 2345 20 80

# description: start LVS   of  Directorserver

VIP1=222.76.222.70   //指定虚拟IP

RIP1=222.76.222.71

RIP2=222.76.222.72

RIP3=222.76.222.73 

RIP4=222.76.222.75

RIP5=222.76.222.69  // RIP1-RIP5为真实服务器IP,如有更多真实服务器则可以添加更多,如RIP6

. /etc/rc.d/init.d/functions

case "$1" in

    start)

        echo " start LVS  of DirectorServer"

       # set the Virtual  IP Address

       /sbin/ifconfig eth0:0 $VIP1 broadcast $VIP1 netmask 255.255.255.255 up   //LVS启动时添加VIP的网口eth0:0

/sbin/route add -host $VIP1 dev eth0:0

       #Clear IPVS table

       /sbin/ipvsadm -C

      #set LVS

      /sbin/ipvsadm -A -t $VIP1:80 -s lc

      /sbin/ipvsadm -a -t $VIP1:80 -r $RIP1:80 -g

      /sbin/ipvsadm -a -t $VIP1:80 -r $RIP2:80 -g

      /sbin/ipvsadm -a -t $VIP1:80 -r $RIP3:80 -g

      /sbin/ipvsadm -a -t $VIP1:80 -r $RIP4:80 -g

      /sbin/ipvsadm -a -t $VIP1:80 -r $RIP5:80 -g

      #Run LVS   //使用ipvsadm来转发客户端请求,-s lc 为最小连接数算法,-g指的是采用DR模式。有几个真实服务器就添加几条记录。

 

      /sbin/ipvsadm

      #end

 

        ;;

    stop)

        echo "close LVS Directorserver"

 

        /sbin/ipvsadm �CC  //关闭时清除ipvsadm

        ;;

    *)

        echo "Usage: $0 {start|stop}"

        exit 1

esac

   

注意:这个资源脚本不要使用chkconfig管理,放入/etc/init.d内即可。

 

 

配置heartbeat

cd heartbeat-2.0.4

cp doc/ha.cf doc/haresources doc/authkeys /etc/ha.d/
cp ldirectord/ldirectord.cf /etc/ha.d/

 

Heartbeat的主目录是:/etc/ha.d/

Ha.cfheartbeat的主配置文件配置如下,其余可以按照默认配置:

 

vi /etc/ha.d/ha.cf

#日志文件位置

logfile /var/log/ha-log

#指定主备服务器多久发送一次心跳

keepalive 2

#指定30秒没有收到对方心跳就认为对方已经DOWN

deadtime 30

#10秒没有收到心跳,便发出警报。

warntime 10

#对方DOWN120秒重新检测一次。

initdead 120

#指定监听端口

udpport 694

#心跳监听网口,这里为eth1

bcast   eth1   //在文件中把第一个bcast前面的#去掉,还要把后面的#linux去掉

#主节点恢复后,自动收回资源。

auto_failback on

#指定主备服务器的主机名称,即在hosts文件中指定的

第一个node为主服务器,第二个node为备服务器。

node          master.abc.cn   //服务器的主机名

node          slave.abc.cn

#222.76.222.65222.76.222.71这两个IP都不能ping通时对方即开始接管资源。

ping_group group1 222.76.222.65 222.76.222.71

#启用ipfail脚本

respawn root /usr/lib/heartbeat/ipfail

#指定运行ipfail的用户。

apiauth ipfail gid=root uid=root

 

 

 

主配置文件配置完成

 

haresources文件配置,这个文件指定虚拟IP和改主机控制的资源脚本。

内容如下:

vi /etc/ha.d/haresources

# master.abc.cn为主调度器主机名,222.76.222.70为虚拟IP

lvs ldirectord heartbeat控制的资源脚本,这些脚本预先要放在

/etc/init.d中。

master.abc.cn 222.76.222.70 lvs ldirectord

 

资源文件配置完成。

 

 

ldirectord.cfldirectord进程的配置文件,该进程用来监视真实服务器的运行状况,如果真实服务器不能响应请求则把它排除在转发列表外。

vi /etc/ha.d/ldirectord.cf

# Global Directives

#设置真实服务器的超时时间

checktimeout=30

#监视真实服务器的时间间隔

checkinterval=10

#如全部真实服务器失败,则转发至本地

fallback=127.0.0.1:80

#改变配置文件内容,不需要重新ldirectord

autoreload=yes

#指定日志位置

logfile="/var/log/ldirectord.log"

quiescent=no

 

# A sample virual with a fallback that will override the gobal setting

#指定虚拟IP

virtual=222.76.222.70:80 

#指定真实服务器IP及监听端口

        real=222.76.222.72:80  gate

        real=222.76.222.73:80  gate

        real=222.76.222.74:80  gate

        real=222.76.222.75:80  gate

        real=222.76.222.76:80  gate

        fallback=127.0.0.1:80   gate

        service=http

#监听测试页面名称,这个页面放入真实服务器web服务的根目录

        request="test.html"

 

#指定测试页面返回内容

        receive="Test Page"

        virtualhost=v.abc.cn

#指定转发算法

        scheduler=lc   //这里的算法要和LVS脚本的算法一样

        protocol=tcp

 

ldirectord.cf配置完成。

 

 

authkeys文件配置

authkeys文件的作用是用来设置心跳信息的加密方式。

vi /etc/ha.d/authkeys

 

 

auth 1

1 crc

 

这里的设置是使用crc循环冗余校验,并不采用加密的方式。

这个文件的权限必须是600

 

 

整个lvsheartbeat配置完成。

 从调度器B的配置与A完全一样。

Heartbeat应用chkconfig进行管理,将其随机启动。

 

 

 

配置真实服务器脚本在每台真实服务器的/etc/init.d目录内放置realserver脚本,这里主备调度器同时也为真实服务器。

 

vi /etc/init.d/realserver

 

 

#!/bin/bash

#

# lvsdrrs init script to hide loopback interfaces on LVS-DR

# Real servers. Modify this script to suit

# your needs. You at least need to set the correct VIP address(es).

#

# Script to start LVS DR real server.

#

# chkconfig: 2345 20 80

# description: LVS DR real server

#

# You must set the VIP address to use here:

#指定虚拟IP

VIP=222.76.222.70

host=`/bin/hostname`

case "$1" in

start)

       # Start LVS-DR real server on this machine.

        /sbin/ifconfig lo down

        /sbin/ifconfig lo up

#修改相关内核参数:

        echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore

        echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce

        echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore

        echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce

 

        /sbin/ifconfig lo:0 $VIP netmask 255.255.255.255 up

        /sbin/route add -host $VIP dev lo:0

;;

stop)

        # Stop LVS-DR real server loopback device(s).

        /sbin/ifconfig lo:0 down

;;

status)

        # Status of LVS-DR real server.

        islothere=`/sbin/ifconfig lo:0 | grep $VIP`

        isrothere=`netstat -rn | grep "lo" | grep $VIP`

        if [ ! "$islothere" -o ! "$isrothere" ];then

            # Either the route or the lo:0 device

            # not found.

            echo "LVS-DR real server Stopped."

        else

            echo "LVS-DR Running."

        fi

;;

*)

        # Invalid entry.

        echo "$0: Usage: $0 {start|status|stop}"

        exit 1

;;

esac

 

 

真实服务器的配置脚本完成,将脚本放置到每个真实服务器/etc/init.d(包括主从调度器),并用chkconfig进行管理,让其随机启动。

 

 

最后将heartbeat在主从调度器上,realserver在真实服务器上开启,测试其是否切换与转发正常工作
 

本文出自 “Devops” 博客,请务必保留此出处http://wiliiwin.blog.51cto.com/928128/199214