安装lvs过程

时间:2023-03-09 09:36:01
安装lvs过程

linux我是最小化安装的mini,安装完成后搭建本地yum,首先安装Development Tools开发工具组

1)在各服务器上修改主机名:

[root@LVS1 ~]# hostname LVS1

[root@RS1 ~]# hostname RS1

[root@RS2 ~]# hostname RS2

2)在RS1 RS2上安装httpd服务

[root@RS2 ~]# yum installhttpd –y

[root@RS2 ~]#/etc/init.d/httpd start

[root@RS1 ~]# yum installhttpd –y

[root@RS1 ~]# /etc/init.d/httpdstart

[root@RS1 ~]# cat/etc/httpd/conf/httpd.conf|grep DocumentRoot  <==查找系统站点目录路径

# DocumentRoot: The directoryout of which you will serve your

DocumentRoot"/var/www/html"

# This should be changed towhatever you set DocumentRoot to.

#    DocumentRoot/www/docs/dummy-host.example.com

[root@RS1 ~]# echo"RS1" >/var/www/html/index.html

[root@RS2 src]# echo"RS2" >/var/www/html/index.html

Httpd服务测试:

安装lvs过程

安装lvs过程

测试成功

二、安装ipvs

1、检查Load Balancer服务器是否已支持ipvs。

modprobe -l|grep ipvs

若有类似以下输出,则表示服务器已支持ipvs:

安装lvs过程

若服务器不支持ipvs,则需要手动下载ipvs并编译安装,相信你们的Linux版本都已支持ipvs

2、检查是否有必须的依赖包:Kernel-devel、gcc、openssl、openssl-devel、popt 。

rpm -q kernel-devel 
rpm -q gcc 
rpm -q openssl 
rpm -q openssl-devel 
rpm -q popt

安装完以下这些软件

[root@www.codesky.net ipvsadm-1.26]# rpm -qa | grep popt
popt-1.13-7.el6.x86_64
popt-devel-1.13-7.el6.x86_64
[root@www.codesky.net ipvsadm-1.26]# rpm -qa | grep libnl
libnl-1.1-14.el6.x86_64
libnl-devel-1.1-14.el6.x86_64  

若有类似以下输出,则表示服务器已安装这些依赖包:

安装lvs过程

若服务器输出”package ** is not installed”则表示该包未安装,在安装光盘找到该rpm文件.由于本地yum已经搭建好了,这些包都可以使用yum安装

3、在Load Balancer服务器上安装ipvsadm。

访问官网下载ipvsadm软件: http://www.linuxvirtualserver.org

很多新人在下载ipvsadm时犯了个小错误,直接在官网上下载个最高版本的tar.gz包到服务器上进行安装,而忽略了官网的说明。

安装lvs过程

1)、下载ipvsadm之前,先使用以下命令查看当前Load Balancer服务器内核版本:

rpm -q kernel-devel

这是我的输出:

安装lvs过程

其中被我手动标注红色的数字就是我的服务器内核版本,根据这个版本号到官网上下载对应该内核版本的ipvsadm版本。

我的2.6.32对应的ipvsadm版本为1.26,下载ipvsadm-1.26.tar.gz文件,1.25和1.26需要2.6.28-rc3及其以上的内核版本,请根据你的内核版本下载相应的安装文件,后续的安装步骤一致,不用担心。你也可以选择下载rpm包进行安装,在此不做讨论。

首先下载popt-static:具体原因可以查看http://www.linuxidc.com/Linux/2012-03/57386.htm

[root@host1 ~]# rpm -ivh popt-static-1.13-7.el6.x86_64.rpm  
[root@host1 ~]# yum -y install kernel-devel make gcc openssl-devel  libnl* popt*
[root@host1 ~]# ln -s /usr/src/kernels/2.6.18-194.el5-x86_64/ /usr/src/linux
[root@host1 ~]# tar -zxvf ipvsadm-1.26.tar.gz -C /usr/src/
[root@host1 ~]# cd /usr/src/ipvsadm-1.26/
[root@host1 ipvsadm-1.26]# make
[root@host1 ipvsadm-1.26]# make install

ipvsadm如果命令有输出表示已安装好ipvsadm

[root@host1 ~]# tar -zxvf keepalived-1.2.2.tar.gz -C /usr/src/
[root@host1 ~]# cd /usr/src/keepalived-1.2.2/
[root@host1 keepalived-1.2.2]# ./configure
[root@host1 keepalived-1.2.2]# make
[root@host1 keepalived-1.2.2]# make install
[root@host1 keepalived-1.2.2]# cp /usr/local/etc/rc.d/init.d/keepalived /etc/rc.d/init.d/
[root@host1 keepalived-1.2.2]# cp /usr/local/etc/sysconfig/keepalived /etc/sysconfig/
[root@host1 keepalived-1.2.2]# mkdir /etc/keepalived
[root@host1 keepalived-1.2.2]# cp /usr/local/etc/keepalived/keepalived.conf /etc/keepalived/
[root@host1 keepalived-1.2.2]# cp /usr/local/sbin/keepalived /usr/sbin/

若没有错误提示,则安装成功,使用ipvsadm命令验证:

安装lvs过程

概念:

1、VIP(virtual ip):用来提供virtual server服务的ip地址。分别绑定在Director一个物理网卡上(对外接收请求包)和RS的回环设备上(回环设备需要绑定两个ip,一个是127.0.0.1,另一个就是vip)。

2、DIP(director ip):绑定在Director上除vip外的另外一个物理网卡上,用来转发请求包到RS的RIP对应的mac上,此设备可以通过arp请求获取RIP对应的mac地址。

3、RIP(real server ip):绑定在RS上的一个物理网卡上,用来接收从Directory转发过来的请求包。

VIP指的是虚拟IP地址,还可以叫做LVS集群的服务IP,在DR、TUN模式中,数据包是直接返回给用户的,所以,在Director Server上以及集群的每个节点上都需要设置这个地址。此IP在Real Server上一般绑定在回环地址上,例如lo:0,同样,在Director Server上,虚拟IP绑定在真实的网络接口设备上,例如eth0:0

1、使用VS/NAT调度

安装lvs过程

这幅图就是VS/NAT的体系结构,NAT本身是一种将私有地址转换为合法IP地址的一种技术,在VS/NAT结构中,整个集群系统只有一个对外的合法地址,这个IP在Load Balancer上对外可见,其他的真实服务器与这个调度器组成了一个对外不可见的内网,Internet上的用户访问集群必须通过集群提供的对外IP访问调度器,调度器再利用NAT技术,将真实服务器置于网络上。

好了,根据以上描述的网络模型,画出我的拓扑图:

安装lvs过程

Load Balnacer和Client在模拟出的外网中,使用同一网段:192.168.1.0-255。Load Balancer与两台真实服务器在同一个局域网中,网段为:10.0.0.0-255。

我们可以使用VMware建立三个虚拟主机,全部装载Linux2.6以上的版本,三台虚拟主机以Bridged(桥接)的方式联网。其中一台虚拟主机用作Load Balancer,另外两台用作真实服务器。

1、在Load Balancer上运行以下脚本(由Joseph Mack提供):

#!/bin/sh 
#------mini-HOWTO-setup-LVS-NAT-director---------- 

#set ip_forward ON for vs-nat director (1 on, 0 off). 
cat /proc/sys/net/ipv4/ip_forward 
echo "1" >/proc/sys/net/ipv4/ip_forward 

#director is gw for realservers 
#turn OFF icmp redirects (1 on, 0 off) 
echo "0" >/proc/sys/net/ipv4/conf/all/send_redirects 
cat /proc/sys/net/ipv4/conf/all/send_redirects 
echo "0" >/proc/sys/net/ipv4/conf/default/send_redirects 
cat /proc/sys/net/ipv4/conf/default/send_redirects 
echo "0" >/proc/sys/net/ipv4/conf/eth0/send_redirects 
cat /proc/sys/net/ipv4/conf/eth0/send_redirects 

#setup DIP 
/sbin/ifconfig eth0 10.0.0.1 broadcast 10.0.0.255 netmask 255.255.255.0 

#setup VIP 
/sbin/ifconfig eth0:0 192.168.1.11 broadcast 192.168.1.255 netmask 255.255.255.0 

#set default gateway 
/sbin/route add default gw 192.168.1.1 netmask 0.0.0.0 metric 1 

#clear ipvsadm tables 
/sbin/ipvsadm -C 

#install LVS services with ipvsadm 
#add telnet to VIP with rr sheduling 
/sbin/ipvsadm -A -t 192.168.1.11:80 -s rr 

#first realserver 
#forward telnet to realserver 10.0.0.2 using LVS-NAT (-m), with weight=1 
/sbin/ipvsadm -a -t 192.168.1.11:80 -r 10.0.0.2:80 -m -w 1 
#check that realserver is reachable from director 
ping -c 1 10.0.0.2 
#second realserver 
#forward telnet to realserver 10.0.0.3 using LVS-NAT (-m), with weight=1 
/sbin/ipvsadm -a -t 192.168.1.11:80 -r 10.0.0.3:80 -m -w 1 
#checking if realserver is reachable from director 
ping -c 1 10.0.0.3 

#list ipvsadm table 
/sbin/ipvsadm 
#------mini-HOWTO-setup-LVS-NAT-director----------

2、在第一台Real Server上运行以下脚本:

#!/bin/sh 
#---------mini-HOWTO-setup-LVS-NAT-realserver------- 
#setup IP 
/sbin/ifconfig eth0 10.0.0.2 broadcast 10.0.0.255 netmask 255.255.255.0 
#installing default gw 10.0.0.1 for vs-nat' 
/sbin/route add default gw 10.0.0.1 
#show routing table 
/bin/netstat -rn 

#checking if DEFAULT_GW is reachable 
ping -c 1 10.0.0.1 

#looking for VIP on director from realserver 
ping -c 1 10.0.0.3 

#set_realserver_ip_forwarding to OFF (1 on, 0 off). 
echo "0" >/proc/sys/net/ipv4/ip_forward 
cat /proc/sys/net/ipv4/ip_forward 
#---------mini-HOWTO-setup-LVS-NAT-realserver-------

3、在第二台Real Server上运行以下脚本:

#!/bin/sh 
#---------mini-HOWTO-setup-LVS-NAT-realserver------- 
#setup IP 
/sbin/ifconfig eth0 10.0.0.3 broadcast 10.0.0.255 netmask 255.255.255.0 
#installing default gw 10.0.0.1 for vs-nat' 
/sbin/route add default gw 10.0.0.1 
#show routing table 
/bin/netstat -rn 

#checking if DEFAULT_GW is reachable 
ping -c 1 10.0.0.1 

#looking for VIP on director from realserver 
ping -c 1 10.0.0.2 

#set_realserver_ip_forwarding to OFF (1 on, 0 off). 
echo "0" >/proc/sys/net/ipv4/ip_forward 
cat /proc/sys/net/ipv4/ip_forward 
#---------mini-HOWTO-setup-LVS-NAT-realserver-------

运行方法如下:

1)、可以用类似lvs_server命名文件,保存至任意位置。

2)、分别给予该文件执行权限。

chmod +x lvs_server

3)、执行该脚本。

./lvs server

运行完成后,访问VIP(http://192.168.1.11),查看结果

注意事项: 
1、VS/NAT的真实服务器可以使用任何机器,任何操作系统,支持大部分的网络服务(如:httpd、ftpd、telnetd等等),唯一的要求就是真实服务器必须支持TCP/IP,不过我们可以忽略这样要求。 
2、在VS/NAT模式下,必须打开Load Balancer的ip_forward,关闭ICMP重定向。 
3、所有的真实服务器网关地址必须指向到调度器的内网地址。 
4、你的真实服务器上必须已部署好http服务器,并为缺省主页写入不同的内容以测试调度器调度结果。 
5、客户机和真实服务器在两个不同的网络中,理论上也可以在一个网络中,需要做一些额外的设置。

2、使用VS/DR调度

首先,我们看一下,VS/DR在什么样的网络环境下使用,上图:

安装lvs过程

该图是官方提供的VS/DR体系结构图,在VS/DR模式下,Load Balancer和所有的Real Server在物理上有一个网卡通过不分断的局域网相连,调度器和真实服务器必须绑定同一VIP,该VIP在调度器上对外可见,而真实服务器上只需将VIP配置在Non-ARP网络设备上,它对外不可见,只是用于欺骗真实服务器用于处理目标地址为VIP的网络请求。真实服务器将请求处理后,直接返回给用户,不需要在通过调度器返回,所以在VS/DR模式下,真实服务器的网关地址不需要指向调度器。

来一个简单的拓扑图:

安装lvs过程

为了简化模拟过程,所有的机器全部在一个网段下,客户机的IP是192.168.1.10,Load Balancer同样提供一个对外可见的VIP192.168.1.11,其DIP与真实服务器在一个不分段的局域网中,可以使用交换机或者集线器连接,网关全部指向192.168.1.1。当然,你的真实服务器也可以使用其他路由器提供的互联网服务,只需要把网关指向它即可。

1、在Load Balancer上运行以下脚本(由Joseph Mack提供):

#!/bin/bash 
#---------------mini-rc.lvs_dr-director------------------------ 
#set ip_forward OFF for lvs-dr director (1 on, 0 off) 
#(there is no forwarding in the conventional sense for LVS-DR) 
cat /proc/sys/net/ipv4/ip_forward 
echo "0" >/proc/sys/net/ipv4/ip_forward 

#director is not gw for realservers: leave icmp redirects on 
echo 'setting icmp redirects (1 on, 0 off) ' 
echo "1" >/proc/sys/net/ipv4/conf/all/send_redirects 
cat /proc/sys/net/ipv4/conf/all/send_redirects 
echo "1" >/proc/sys/net/ipv4/conf/default/send_redirects 
cat /proc/sys/net/ipv4/conf/default/send_redirects 
echo "1" >/proc/sys/net/ipv4/conf/eth0/send_redirects 
cat /proc/sys/net/ipv4/conf/eth0/send_redirects 

#setup DIP 
/sbin/ifconfig eth0 192.168.1.101 broadcast 192.168.1.255 netmask 255.255.255.0 

#add ethernet device and routing for VIP 192.168.1.11 
/sbin/ifconfig eth0:0 192.168.1.11 broadcast 192.168.1.11 netmask 255.255.255.255 
/sbin/route add -host 192.168.1.11 dev eth0:0 
#listing ifconfig info for VIP 192.168.1.11 
/sbin/ifconfig eth0:0 

#check VIP 192.168.1.11 is reachable from self (director) 
/bin/ping -c 1 192.168.1.11 
#listing routing info for VIP 192.168.1.11 
/bin/netstat -rn 

#setup_ipvsadm_table 
#clear ipvsadm table 
/sbin/ipvsadm -C 
#installing LVS services with ipvsadm 
#add telnet to VIP with round robin scheduling 
/sbin/ipvsadm -A -t 192.168.1.11:80 -s rr 

#forward telnet to realserver using direct routing with weight 1 
/sbin/ipvsadm -a -t 192.168.1.11:80 -r 192.168.1.102:80 -g -w 1 
#check realserver reachable from director 
ping -c 1 192.168.1.102 

#forward telnet to realserver using direct routing with weight 1 
/sbin/ipvsadm -a -t 192.168.1.11:80 -r 192.168.1.103:80 -g -w 1 
#check realserver reachable from director 
ping -c 1 192.168.1.103 

#displaying ipvsadm settings 
/sbin/ipvsadm 

#not installing a default gw for LVS_TYPE vs-dr 
#---------------mini-rc.lvs_dr-director------------------------

2、在第一台Real Server上运行以下脚本:

#!/bin/bash 
#----------mini-rc.lvs_dr-realserver------------------ 
#setup IP 
/sbin/ifconfig eth0 192.168.1.102 broadcast 192.168.1.255 netmask 255.255.255.0 
#installing default gw 192.168.1.1 for vs-dr 
/sbin/route add default gw 192.168.1.1 
#showing routing table 
/bin/netstat -rn 
#checking if DEFAULT_GW 192.168.1.1 is reachable 
ping -c 1 192.168.1.1 

#set_realserver_ip_forwarding to OFF (1 on, 0 off). 
echo "0" >/proc/sys/net/ipv4/ip_forward 
cat /proc/sys/net/ipv4/ip_forward 

#looking for DIP 192.168.1.101 
ping -c 1 192.168.1.101 

#looking for VIP (will be on director) 
ping -c 1 192.168.1.11 

#install_realserver_vip 
/sbin/ifconfig lo:0 192.168.1.11 broadcast 192.168.1.11 netmask 0xffffffff up
#ifconfig output 
/sbin/ifconfig lo:0 
#installing route for VIP 192.168.1.11 on device lo:0 
/sbin/route add -host 192.168.1.11 dev lo:0 
#listing routing info for VIP 192.168.1.11 
/bin/netstat -rn 

#hiding interface lo:0, will not arp 
echo "1" >/proc/sys/net/ipv4/conf/all/hidden 
cat /proc/sys/net/ipv4/conf/all/hidden 
echo "1" >/proc/sys/net/ipv4/conf/lo/hidden 
cat /proc/sys/net/ipv4/conf/lo/hidden 

#----------mini-rc.lvs_dr-realserver------------------

2、在第二台Real Server上运行以下脚本:

#!/bin/bash 
#----------mini-rc.lvs_dr-realserver------------------ 
#setup IP 
/sbin/ifconfig eth0 192.168.1.103 broadcast 192.168.1.255 netmask 255.255.255.0 
#installing default gw 192.168.1.1 for vs-dr 
/sbin/route add default gw 192.168.1.1 
#showing routing table 
/bin/netstat -rn 
#checking if DEFAULT_GW 192.168.1.1 is reachable 
ping -c 1 192.168.1.1 

#set_realserver_ip_forwarding to OFF (1 on, 0 off). 
echo "0" >/proc/sys/net/ipv4/ip_forward 
cat /proc/sys/net/ipv4/ip_forward 

#looking for DIP 192.168.1.101 
ping -c 1 192.168.1.101 

#looking for VIP (will be on director) 
ping -c 1 192.168.1.11 

#install_realserver_vip 
/sbin/ifconfig lo:0 192.168.1.11 broadcast 192.168.1.11 netmask 0xffffffff up
#ifconfig output 
/sbin/ifconfig lo:0 
#installing route for VIP 192.168.1.11 on device lo:0 
/sbin/route add -host 192.168.1.11 dev lo:0 
#listing routing info for VIP 192.168.1.11 
/bin/netstat -rn 

#hiding interface lo:0, will not arp 
echo "1" >/proc/sys/net/ipv4/conf/all/hidden 
cat /proc/sys/net/ipv4/conf/all/hidden 
echo "1" >/proc/sys/net/ipv4/conf/lo/hidden 
cat /proc/sys/net/ipv4/conf/lo/hidden 

#----------mini-rc.lvs_dr-realserver------------------

脚本执行方法请参考VS/NAT模式。

运行完成后,访问VIP(http://192.168.1.11),查看结果

注意事项: 
1、基本上大部分搭载着unices和Microsoft OS的服务器都可以在VS/DR模式下作为真实服务器使用。 
2、Load Balancer和所有的Real Server在物理上必须有一个网卡通过不分断的局域网相连。 
3、调度器上的VIP地址对外可见;真实服务器必须将VIP绑定到Nor-ARP网卡上,它对外不可见,只是用于欺骗真实服务器用于处理目标地址为VIP的网络请求。 
4、在VS/DR模式下,无需使用ip_forward功能,因此为了安全考虑,关闭了该功能。 
5、真实服务器不再使用调度器作为网关,因此打开调度器的ICMP重定向。 
4、你的真实服务器上必须已部署好http服务器,并为缺省主页写入不同的内容以测试调度器调度结果。