利用corosync/openais + ldirectord 实现LVS（DR）中的Director 的高可用

时间：2021-12-15 03:07:12

实验目的：

利用corosyne/openais + ldirectord 实现LVS（DR）中的Director 的高可用

实验环境：

ReadHat 5.8

    VIP          172.16.45.2
Real Server:   
    RS1          172.16.45.5
    RS2          172.16.45.6
   
Director:
    node1.yue.com        172.16.45.11
    node2.yue.com        172.16.45.12 

需要用到的rpm包：

cluster-glue-1.0.6-1.6.el5.i386.rpm                               
cluster-glue-libs-1.0.6-1.6.el5.i386.rpm                           
corosync-1.2.7-1.1.el5.i386.rpm                                       
corosynclib-1.2.7-1.1.el5.i386.rpm                                 
heartbeat-3.0.3-2.3.el5.i386.rpm                                  
heartbeat-libs-3.0.3-2.3.el5.i386.rpm                            
ldirectord-1.0.1-1.el5.i386.rpm                                     
libesmtp-1.0.4-5.el5.i386.rpm                                       
openais-1.1.3-1.6.el5.i386.rpm                                    
openaislib-1.1.3-1.6.el5.i386.rpm                                      
pacemaker-1.1.5-1.1.el5.i386.rpm                                          
cts-1.1.5-1.1.el5.i386.rpm                                       
pacemaker-libs-1.1.5-1.1.el5.i386.rpm                                  
perl-MailTools-2.08-1.el5.rf.noarch.rpm                                   
perl-Pod-Escapes-1.04-1.2.el5.rf.noarch.rpm                                
perl-Pod-Simple-3.07-1.el5.rf.noarch.rpm                                  
perl-Test-Pod-1.42-1.el5.rf.noarch.rpm                                    
perl-TimeDate-1.16-5.el5.noarch.rpm                                    
resource-agents-1.0.4-1.1.el5.i386.rpm

另外准备好系统光盘，作为yum源

一、先配置Real Server

1. 同步两台Real Server的时间
    # hwclock -s  
2. 安装 apache
    # yum -y install httpd

为两台Real Server提供网页文件

  
 
 
    

  1. [root@RS1 ~]# echo "<h1>Real Server 1<h1>" > /var/www/html/index.html      
    2. 
   
  
  
  2. [root@RS2 ~]# echo "<h1>Real Server 2<h1>" > /var/www/html/index.html 
    3. 
  
 
 
  
 
 
    

  1. [root@RS1 ~]# vi /etc/httpd/conf/httpd.conf 
    2. 
   
  
  
  2. 
              更改：ServerName    RS1.yue.com 

    3. 
   
  
  
  3.                 
    4. 
   
  
  
  4. [root@RS2 ~]# vi /etc/httpd/conf/httpd.conf 
    5. 
   
  
  
  5.                 更改：ServerName    RS2.yue.com  
    6.

# /etc/init.d/httpd start

3. 在RS1上编辑内核的相关参数(此时配置的内核参数和网卡都是临时生效的，若想要永久有效需要写入相应的配置文件中)

  
 
 
    

  1. [root@RS1 ~]# echo 1 > /proc/sys/net/ipv4/conf/eth0/arp_ignore  
    2. 
   
  
  
  2. [root@RS1 ~]# echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore  
    3. 
   
  
  
  3. [root@RS1 ~]# echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce  
    4. 
   
  
  
  4. [root@RS1 ~]# echo 2 > /proc/sys/net/ipv4/conf/eth0/arp_announce  
    5. 
   
  
  
  5. 
[root@RS1 ~]# ifconfig lo:0 172.16.45.2 broadcast 172.16.45.255 netmask 255.255.255.255 up 配置vip 

    6. 
   
  
  
  6. [root@RS1 ~]# ifconfig 
    7. 
   
  
  
  7. eth0      Link encap:Ethernet  HWaddr 00:0C:29:7E:8B:C6   
    8. 
   
  
  
  8.           inet addr:172.16.45.5  Bcast:172.16.255.255  Mask:255.255.0.0 
    9. 
   
  
  
  9.           UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1 
    10. 
   
  
  
  10.           RX packets:144986 errors:0 dropped:0 overruns:0 frame:0 
    11. 
   
  
  
  11.           TX packets:39438 errors:0 dropped:0 overruns:0 carrier:0 
    12. 
   
  
  
  12.           collisions:0 txqueuelen:1000  
    13. 
   
  
  
  13.           RX bytes:29527500 (28.1 MiB)  TX bytes:5000577 (4.7 MiB) 
    14. 
   
  
  
  14.           Interrupt:67 Base address:0x2000  
    15. 
   
  
  
  15.  
    16. 
   
  
  
  16. lo        Link encap:Local Loopback   
    17. 
   
  
  
  17.           inet addr:127.0.0.1  Mask:255.0.0.0 
    18. 
   
  
  
  18.           UP LOOPBACK RUNNING  MTU:16436  Metric:1 
    19. 
   
  
  
  19.           RX packets:140 errors:0 dropped:0 overruns:0 frame:0 
    20. 
   
  
  
  20.           TX packets:140 errors:0 dropped:0 overruns:0 carrier:0 
    21. 
   
  
  
  21.           collisions:0 txqueuelen:0  
    22. 
   
  
  
  22.           RX bytes:17628 (17.2 KiB)  TX bytes:17628 (17.2 KiB) 
    23. 
   
  
  
  23.  
    24. 
   
  
  
  24. lo:0      Link encap:Local Loopback   
    25. 
   
  
  
  25.           inet addr:172.16.45.2  Mask:255.255.255.255 
    26. 
   
  
  
  26.           UP LOOPBACK RUNNING  MTU:16436  Metric:1 
    27. 
   
  
  
  27.  
    28. 
   
  
  
  28. [root@RS1 ~]# elinks -dump http://172.16.45.2  测试是否正常
    29. 
   
  
  
  29. Real Server 1 
    30. 
   
  
  
  30. [root@RS1 ~]# elinks -dump http://172.16.45.5 
    31. 
   
  
  
  31. Real Server 1 
    32.

设定服务开机自动启动

  
 
 
    

  1. [root@RS1 ~]# chkconfig --add httpd 
    2. 
   
  
  
  2. [root@RS1 ~]# chkconfig httpd on 
    3. 
   
  
  
  3. [root@RS1 ~]# chkconfig --list httpd 
    4. 
   
  
  
  4. httpd              0:off    1:off    2:on    3:on    4:on    5:on    6:off     
    5.

4. 在RS2 上做同样的设置

  
 
 
    

  1. [root@RS2 ~]# elinks -dump http://172.16.45.2  测试是否正常 
    2. 
   
  
  
  2. Real Server 2 
    3. 
   
  
  
  3. [root@RS2 ~]# elinks -dump http://172.16.45.6  
    4. 
   
  
  
  4. Real Server 2  
    5.

二、配置 Director
1. 双机互信       
   # ssh-keygen -t rsa
   # ssh-copy-id -i ~/.ssh/id_rsa.pub      root@node2      
2. 主机名  

   # vi /etc/hosts
        172.16.45.11    node1.yue.com    node1
        172.16.45.12    node2.yue.com    node2

3. 时间同步
   # hwcolock    -s

4.安装上面提到的相关rpm包
    # yum -y --nogpgcheck localinstall *.rpm

5. 将rpm包传送给node2并安装

  
 
 
    

  1. [root@node1 tmp]# scp *.rpm node2:/tmp  
    2. 
   
  
  
  2. [root@node1 tmp]# ssh node2 'yum -y --nogpgcheck localinstall /tmp/*.rpm' 
    3.

6. 关闭 heartbeat服务

  
 
 
    

  1. [root@node1 ~]# chkconfig --list heartbeat  
    2. 
   
  
  
  2. heartbeat          0:off    1:off    2:on    3:on    4:on    5:on    6:off  
    3. 
   
  
  
  3. [root@node1 ~]# chkconfig  heartbeat off  
    4. 
   
  
  
  4. [root@node1 ~]# ssh node2 'chkconfig  heartbeat off'  
    5.

7. 提供 corosync的配置文件

  
 
 
    

  1. [root@node1 ~]# cd /etc/corosync/ 
    2. 
   
  
  
  2. [root@node1 corosync]# cp corosync.conf.example corosync.conf 
    3. 
   
  
  
  3.  
    4. 
   
  
  
  4. [root@node1 corosync]# vi /etc/corosync/corosync.conf 
    5. 
   
  
  
  5.  
    6. 
   
  
  
  6. compatibility: whitetank                    兼容性，兼容以前的版本 
    7. 
   
  
  
  7.  
    8. 
   
  
  
  8. totem {                                     多个corosynce 的节点之间心跳信息的传递方式 
    9. 
   
  
  
  9.         version: 2                           
    10. 
   
  
  
  10.         secauth: off                        安全认证 
    11. 
   
  
  
  11.         threads: 0                          启动几个线程 
    12. 
   
  
  
  12.         interface {                         通过哪个网络接口传递心跳信息，若有多个接口，则ringnumber不能相同 
    13. 
   
  
  
  13.                 ringnumber: 0 
    14. 
   
  
  
  14.                 bindnetaddr: 172.16.45.0        绑定的网络地址 
    15. 
   
  
  
  15.                 mcastaddr: 226.94.100.1         多播地址 
    16. 
   
  
  
  16.                 mcastport: 5405 
    17. 
   
  
  
  17.         } 
    18. 
   
  
  
  18. } 
    19. 
   
  
  
  19.  
    20. 
   
  
  
  20. logging { 
    21. 
   
  
  
  21.         fileline: off 
    22. 
   
  
  
  22.         to_stderr: no                           发送到标准错误输出 
    23. 
   
  
  
  23.         to_logfile: yes 
    24. 
   
  
  
  24. #        to_syslog: yes 
    25. 
   
  
  
  25.         logfile: /var/log/corosync.log           
    26. 
   
  
  
  26.         debug: off 
    27. 
   
  
  
  27.         timestamp: on                           是否记录时间戳 
    28. 
   
  
  
  28.         logger_subsys { 
    29. 
   
  
  
  29.                 subsys: AMF                 想要启用AMF  需要安装OpenAIS  和OpenAis-libs 
    30. 
   
  
  
  30.                 debug: off 
    31. 
   
  
  
  31.         } 
    32. 
   
  
  
  32. } 
    33. 
   
  
  
  33.  
    34. 
   
  
  
  34. amf { 
    35. 
   
  
  
  35.         mode: disabled 
    36. 
   
  
  
  36. } 
    37. 
   
  
  
  37.  
    38. 
   
  
  
  38. 
# 另外添加如下内容：
    service {
     ver: 0
     name: pacemaker
     use_mgmtd: yes
    }

    aisexec {
     user: root
     group: root
     }    

    39.

8. 节点密钥文件   

  
 
 
    

  1. [root@node1 corosync]# corosync-keygen                  生成节点密钥文件 
    2. 
   
  
  
  2. Corosync Cluster Engine Authentication key generator. 
    3. 
   
  
  
  3. Gathering 1024 bits for key from /dev/random. 
    4. 
   
  
  
  4. Press keys on your keyboard to generate entropy. 
    5. 
   
  
  
  5. Writing corosync key to /etc/corosync/authkey. 
    6.

9. 提供ldirectord的配置文件

  
 
 
    

  1. [root@node1 corosync]# cp /usr/share/doc/ldirectord-1.0.1/ldirectord.cf  /etc/ha.d/

    2. 
   
  
  
  2. [root@node1 corosync]# vi /etc/ha.d/ldirectord.cf 
    3. 
   
  
  
  3. checktimeout=3 
    4. 
   
  
  
  4. checkinterval=1 
    5. 
   
  
  
  5. autoreload=yes 
    6. 
   
  
  
  6. quiescent=no 
    7. 
   
  
  
  7. 
virtual=172.16.45.2:80 

    8. 
   
  
  
  8. 
    real=172.16.45.5:80 gate 

    9. 
   
  
  
  9.     real=172.16.45.6:80 gate 
    10. 
   
  
  
  10.     fallback=127.0.0.1:80 gate 
    11. 
   
  
  
  11.     service=http 
    12. 
   
  
  
  12.     scheduler=rr 
    13. 
   
  
  
  13.  # persistent=600 
    14. 
   
  
  
  14.  # netmask=255.255.255.255 
    15. 
   
  
  
  15.     protocol=tcp 
    16. 
   
  
  
  16.     checktype=negotiate 
    17. 
   
  
  
  17.     checkport=80 
    18. 
   
  
  
  18.     request="test.html" 
    19. 
   
  
  
  19.     receive="Real Server OK" 
    20.

10. 将配置文件传送到node2

  
 
 
    

  1. [root@node1 corosync]# scp -p authkey corosync.conf  node2:/etc/corosync/        
    2. 
   
  
  
  2. authkey                                                                 100%  128     0.1KB/s   00:00     
    3. 
   
  
  
  3. corosync.conf                                                           100%  526     0.5KB/s   00:00     
    4. 
   
  
  
  4.  
    5. 
   
  
  
  5. [root@node1 corosync]# scp /etc/ha.d/ldirectord.cf  node2:/etc/ha.d/ 
    6. 
   
  
  
  6. ldirectord.cf                                                           100% 7593     7.4KB/s   00:00 
    7.

11. 启动corosync 服务

  
 
 
    

  1. [root@node1 ~]# /etc/init.d/corosync start 
    2. 
   
  
  
  2. Starting Corosync Cluster Engine (corosync):               [  OK  ]  
    3. 
   
  
  
  3.  
    4. 
   
  
  
  4. [root@node1 corosync]# netstat -unlp 
    5. 
   
  
  
  5. udp        0      0 172.16.45.11:5405           0.0.0.0:*                               4019/corosync        
    6. 
   
  
  
  6. udp        0      0 226.94.100.1:5405           0.0.0.0:*                               4019/corosync    
    7.

查看corosync引擎是否正常启动

  
 
 
    

  1. [root@node1 corosync]#  grep -e "Corosync Cluster Engine" -e "configuration file" /var/log/corosync.log 
    2. 
   
  
  
  2. Aug 05 17:32:43 corosync [MAIN  ] Corosync Cluster Engine ('1.2.7'): started and ready to provide service. 
    3. 
   
  
  
  3. 
Aug 05 17:32:43 corosync [MAIN  ] Successfully read main configuration file '/etc/corosync/corosync.conf'. 

    4. 
   
  
  
  4. Aug 05 17:33:48 corosync [MAIN  ] Corosync Cluster Engine exiting with status 0 at main.c:170. 
    5. 
   
  
  
  5. Aug 05 17:34:17 corosync [MAIN  ] Corosync Cluster Engine ('1.2.7'): started and ready to provide service. 
    6. 
   
  
  
  6. 
Aug 05 17:34:17 corosync [MAIN  ] Successfully read main configuration file '/etc/corosync/corosync.conf'. 

    7.

查看初始化成员节点通知是否正常发出

  
 
 
    

  1. [root@node1 corosync]# grep "TOTEM" /var/log/corosync.log 
    2. 
   
  
  
  2. Aug 05 17:32:43 corosync [TOTEM ] Initializing transport (UDP/IP). 
    3. 
   
  
  
  3. Aug 05 17:32:43 corosync [TOTEM ] Initializing transmit/receive security: libtomcrypt SOBER128/SHA1HMAC (mode 0). 
    4. 
   
  
  
  4. Aug 05 17:32:44 corosync [TOTEM ] The network interface [172.16.45.11] is now up. 
    5. 
   
  
  
  5. Aug 05 17:32:44 corosync [TOTEM ] A processor joined or left the membership and a new membership was formed. 
    6. 
   
  
  
  6. Aug 05 17:34:17 corosync [TOTEM ] Initializing transport (UDP/IP). 
    7. 
   
  
  
  7. Aug 05 17:34:17 corosync [TOTEM ] Initializing transmit/receive security: libtomcrypt SOBER128/SHA1HMAC (mode 0). 
    8. 
   
  
  
  8. Aug 05 17:34:17 corosync [TOTEM ] The network interface [172.16.45.11] is now up. 
    9. 
   
  
  
  9. Aug 05 17:34:18 corosync [TOTEM ] A processor joined or left the membership and a new membership was formed. 
    10.

查看pacemaker是否正常启动

  
 
 
    

  1. [root@node1 corosync]# grep pcmk_startup /var/log/corosync.log  
    2. 
   
  
  
  2. Aug 05 17:32:44 corosync [pcmk  ] info: pcmk_startup: CRM: Initialized 
    3. 
   
  
  
  3. Aug 05 17:32:44 corosync [pcmk  ] Logging: Initialized pcmk_startup 
    4. 
   
  
  
  4. Aug 05 17:32:44 corosync [pcmk  ] info: pcmk_startup: Maximum core file size is: 4294967295 
    5. 
   
  
  
  5. Aug 05 17:32:44 corosync [pcmk  ] info: pcmk_startup: Service: 9 
    6. 
   
  
  
  6. Aug 05 17:32:44 corosync [pcmk  ] info: pcmk_startup: Local hostname: node1.yue.com 
    7. 
   
  
  
  7. Aug 05 17:34:18 corosync [pcmk  ] info: pcmk_startup: CRM: Initialized 
    8. 
   
  
  
  8. Aug 05 17:34:18 corosync [pcmk  ] Logging: Initialized pcmk_startup 
    9. 
   
  
  
  9. Aug 05 17:34:18 corosync [pcmk  ] info: pcmk_startup: Maximum core file size is: 4294967295 
    10. 
   
  
  
  10. Aug 05 17:34:18 corosync [pcmk  ] info: pcmk_startup: Service: 9 
    11. 
   
  
  
  11. Aug 05 17:34:18 corosync [pcmk  ] info: pcmk_startup: Local hostname: node1.yue.com 
    12.

检查启动过程中是否有错误产生

  
 
 
    

  1. [root@node1 corosync]# grep ERROR: /var/log/corosync.log | grep -v unpack_resources 
    2. 
   
  
  
  2. Aug 05 17:32:45 corosync [pcmk  ] ERROR: pcmk_wait_dispatch: Child process mgmtd exited (pid=4764, rc=100) 
    3. 
   
  
  
  3. Aug 05 17:34:19 corosync [pcmk  ] ERROR: pcmk_wait_dispatch: Child process mgmtd exited (pid=4865, rc=100) 
    4.

如果上面命令执行均没有问题，接着可以执行如下命令启动node2上的corosync
注意：启动node2需要在node1上使用如上命令进行，不要在node2节点上直接启动；

  
 
 
    

  1. [root@node1 corosync]# ssh node2 '/etc/init.d/corosync start' 
    2. 
   
  
  
  2. Starting Corosync Cluster Engine (corosync): [  OK  ] 
    3.

使用如下命令查看集群节点的启动状态：

  
 
 
    

  1. [root@node1 ~]# crm status 
    2. 
   
  
  
  2. ============ 
    3. 
   
  
  
  3. Last updated: Sun Aug  5 17:44:02 2012 
    4. 
   
  
  
  4. Stack: openais 
    5. 
   
  
  
  5. Current DC: node1.yue.com - partition with quorum 
    6. 
   
  
  
  6. Version: 1.1.5-1.1.el5-01e86afaaa6d4a8c4836f68df80ababd6ca3902f 
    7. 
   
  
  
  7. 
2 Nodes configured, 2 expected votes  2个节点

    8. 
   
  
  
  8. 
0 Resources configured.  0个资源

    9. 
   
  
  
  9. ============ 
    10. 
   
  
  
  10.  
    11. 
   
  
  
  11. 
Online: [ node1.yue.com node2.yue.com ] 

    12.

配置集群的工作属性，禁用stonith
corosync默认启用了stonith，而当前集群并没有相应的stonith设备，因此此默认配置目前尚不可用，这可以通过如下命令验正：

  
 
 
    

  1. [root@node1 ~]# crm_verify -L 
    2. 
   
  
  
  2. crm_verify[4928]: 2012/08/05_17:44:59 ERROR: unpack_resources: Resource start-up disabled since no STONITH resources have been defined 
    3. 
   
  
  
  3. crm_verify[4928]: 2012/08/05_17:44:59 ERROR: unpack_resources: Either configure some or disable STONITH with the stonith-enabled option 
    4. 
   
  
  
  4. crm_verify[4928]: 2012/08/05_17:44:59 ERROR: unpack_resources: NOTE: Clusters with shared data need STONITH to ensure data integrity 
    5. 
   
  
  
  5. Errors found during check: config not valid 
    6. 
   
  
  
  6.   -V may provide more details 
    7.

 我们里可以通过如下方式先禁用stonith：

(当然也可以直接使用命令：# crm configure property stonith-enabled=false 来实现) 
  
 
 
    

  1. [root@node1 ~]# crm           进入crm的交互模式，在每层都可以使用help查看在当前位置可以使用的命令
    2. 
   
  
  
  2. crm(live)# configure                                 
    3. 
   
  
  
  3. crm(live)configure# property stonith-enabled=false 
    4. 
   
  
  
  4. crm(live)configure# verify                                      检查语法 
    5. 
   
  
  
  5. crm(live)configure# commit                                      提交 
    6. 
   
  
  
  6. crm(live)configure# show  
    7. 
   
  
  
  7. node node1.yue.com 
    8. 
   
  
  
  8. node node2.yue.com 
    9. 
   
  
  
  9. property $id="cib-bootstrap-options" \ 
    10. 
   
  
  
  10.     dc-version="1.1.5-1.1.el5-01e86afaaa6d4a8c4836f68df80ababd6ca3902f" \ 
    11. 
   
  
  
  11.     cluster-infrastructure="openais" \ 
    12. 
   
  
  
  12.     expected-quorum-votes="2" \ 
    13. 
   
  
  
  13.     stonith-enabled="false"                             stonith已经被禁用 
    14. 
   
  
  
  14.      
    15. 
   
  
  
  15.  
    16. 
   
  
  
  16. 上面的crm，crm_verify命令是1.0后的版本的pacemaker提供的基于命令行的集群管理工具；可以在集群中的任何一个节点上执行。 
    17.

三、为集群添加集群资源
corosync支持heartbeat，LSB和ocf等类型的资源代理，目前较为常用的类型为LSB和OCF两类，stonith类专为配置stonith设备而用；

可以通过如下命令查看当前集群系统所支持的类型：

  
 
 
    

  1. 
# crm ra classes  

    2. 
   
  
  
  2. heartbeat 
    3. 
   
  
  
  3. lsb 
    4. 
   
  
  
  4. ocf / heartbeat pacemaker 
    5. 
   
  
  
  5. stonith  
    6.

如果想要查看某种类别下的所用资源代理的列表，可以使用类似如下命令实现：
# crm ra list lsb
# crm ra list ocf heartbeat
# crm ra list ocf pacemaker
# crm ra list stonith

# crm ra info [class:[provider:]]resource_agent
例如：
# crm ra info ocf:heartbeat:IPaddr

  
 
 
    

  1. [root@node1 ~]# crm  
    2. 
   
  
  
  2. crm(live)# resource 
    3. 
   
  
  
  3. crm(live)resource# status                       查看资源的状态 
    4. 
   
  
  
  4.  Resource Group: web 
    5. 
   
  
  
  5.      Web_server (lsb:httpd) Started  
    6. 
   
  
  
  6.      WebIP  (ocf::heartbeat:IPaddr) Started  
    7. 
   
  
  
  7.       
    8. 
   
  
  
  8. crm(live)resource# stop web                     停止一个资源 
    9. 
   
  
  
  9. crm(live)resource# status 
    10. 
   
  
  
  10.  Resource Group: web 
    11. 
   
  
  
  11.      Web_server (lsb:httpd) Stopped  
    12. 
   
  
  
  12.      WebIP  (ocf::heartbeat:IPaddr) Stopped  
    13. 
   
  
  
  13. crm(live)resource#  
    14. 
   
  
  
  14.  
    15. 
   
  
  
  15.                                                  
    16. 
   
  
  
  16. crm(live)configure# delete web                      删除一个组 
    17.

1. 接下来要为web集群创建一个IP地址资源，以在通过集群提供web服务时使用；这可以通过如下方式实现：

定义资源的语法： 

  
 
 
    

  1. primitive <rsc> [<class>:[<provider>:]]<type> 
    2. 
   
  
  
  2.           [params attr_list] 
    3. 
   
  
  
  3.           [operations id_spec] 
    4. 
   
  
  
  4.             [op op_type [<attribute>=<value>...] ...] 
    5. 
   
  
  
  5.  
    6. 
   
  
  
  6. op_type :: start | stop | monitor 
    7. 
   
  
  
  7.  
    8. 
   
  
  
  8. 例子： 
    9. 
   
  
  
  9.  primitive apcfence stonith:apcsmart \ 
    10. 
   
  
  
  10.           params ttydev=/dev/ttyS0 hostlist="node1 node2" \ 
    11. 
   
  
  
  11.           op start timeout=60s \ 
    12. 
   
  
  
  12.  
    13. 
   
  
  
  13.           op monitor interval=30m timeout=60s 
    14. 
  
 
 
  
 
 
    



    
   
  
  
  1. 
定义IP资源时的一些参数：    

    2. 
   
  
  
  2. Parameters (* denotes required, [] the default):     
    3. 
   
  
  
  3. 
ip* (string): IPv4 address 

    4. 
   
  
  
  4. 
    The IPv4 address to be configured in dotted quad notation, for example "192.168.1.1". 

    5. 
   
  
  
  5. 
nic (string, [eth0]): Network interface 

    6. 
   
  
  
  6.     The base network interface on which the IP address will be brought 
    7. 
   
  
  
  7. 
cidr_netmask (string): Netmask 

    8. 
   
  
  
  8. 
    The netmask for the interface in CIDR format. (ie, 24), or in dotted quad notation  255.255.255.0). 

    9. 
   
  
  
  9. 
broadcast (string): Broadcast address 

    10. 
   
  
  
  10. 
lvs_support (boolean, [false]): Enable support for LVS DR 

    11. 
   
  
  
  11. Operations' defaults (advisory minimum): 
    12. 
   
  
  
  12.     start         timeout=20s 
    13. 
   
  
  
  13.     stop          timeout=20s 
    14. 
   
  
  
  14.     monitor       interval=5s timeout=20s 
    15.

定义IP资源

# crm

  
 
 
    

  1. crm(live)# configure  
    2. 
   
  
  
  2. crm(live)configure# primitive Web_IP ocf:heartbeat:IPaddr2  params ip=172.16.45.2 nic=eth0 cidr_netmask=32 broadcast=172.16.45.255 lvs_support=true 
    3. 
   
  
  
  3. crm(live)configure# show 
    4. 
   
  
  
  4. node node1.yue.com 
    5. 
   
  
  
  5. node node2.yue.com 
    6. 
   
  
  
  6. primitive Web_IP ocf:heartbeat:IPaddr2 \ 
    7. 
   
  
  
  7.     params ip="172.16.45.2" nic="eth0" cidr_netmask="32" broadcast="172.16.45.255" lvs_support="true" 
    8. 
   
  
  
  8. primitive Web_ldirectord ocf:heartbeat:ldirectord 
    9. 
   
  
  
  9. property $id="cib-bootstrap-options" \ 
    10. 
   
  
  
  10.     dc-version="1.1.5-1.1.el5-01e86afaaa6d4a8c4836f68df80ababd6ca3902f" \ 
    11. 
   
  
  
  11.     cluster-infrastructure="openais" \ 
    12. 
   
  
  
  12.     expected-quorum-votes="2" \ 
    13. 
   
  
  
  13.     stonith-enabled="false" 
    14. 
   
  
  
  14. crm(live)configure# verify 
    15. 
   
  
  
  15. crm(live)configure# commit 提交 
    16. 
   
  
  
  16. crm(live)configure# cd 
    17. 
   
  
  
  17. crm(live)# status  查看集群状态
    18. 
   
  
  
  18. ============ 
    19. 
   
  
  
  19. Last updated: Sun Aug  5 19:45:08 2012 
    20. 
   
  
  
  20. Stack: openais 
    21. 
   
  
  
  21. Current DC: node1.yue.com - partition with quorum 
    22. 
   
  
  
  22. Version: 1.1.5-1.1.el5-01e86afaaa6d4a8c4836f68df80ababd6ca3902f 
    23. 
   
  
  
  23. 2 Nodes configured, 2 expected votes 
    24. 
   
  
  
  24. 1 Resources configured. 
    25. 
   
  
  
  25. ============ 
    26. 
   
  
  
  26.  
    27. 
   
  
  
  27. Online: [ node1.yue.com node2.yue.com ] 
    28. 
   
  
  
  28. 
  
    

    29. 
   
  
  
  29. 
 Web_IP (ocf::heartbeat:IPaddr2):   Started node2.yue.com 

    30. 
   
  
  
  30. crm(live)# bye
    31.

关于ldirectord 资源定义时的的一些参数：

  
 
 
    

  1. Parameters (* denotes required, [] the default): 
    2. 
   
  
  
  2.  
    3. 
   
  
  
  3. configfile (string, [/etc/ha.d/ldirectord.cf]): configuration file path 
    4. 
   
  
  
  4.     The full pathname of the ldirectord configuration file. 
    5. 
   
  
  
  5.  
    6. 
   
  
  
  6. ldirectord (string, [/usr/sbin/ldirectord]): ldirectord binary path 
    7. 
   
  
  
  7.     The full pathname of the ldirectord. 
    8. 
   
  
  
  8.  
    9. 
   
  
  
  9. Operations' defaults (advisory minimum): 
    10. 
   
  
  
  10.  
    11. 
   
  
  
  11.     start         timeout=15 
    12. 
   
  
  
  12.     stop          timeout=15 
    13. 
   
  
  
  13.     monitor       interval=20 timeout=10 
    14.

定义 ldirectorce资源：

  
 
 
    

  1. [root@node1 ~]# crm 
    2. 
   
  
  
  2. crm(live)# configure     
    3. 
   
  
  
  3. crm(live)configure# primitive Web_ldirectord ocf:heartbeat:ldirectord  
    4. 
   
  
  
  4. crm(live)configure# show 
    5. 
   
  
  
  5. node node1.yue.com 
    6. 
   
  
  
  6. node node2.yue.com 
    7. 
   
  
  
  7. primitive Web_ldirectord ocf:heartbeat:ldirectord 
    8. 
   
  
  
  8. property $id="cib-bootstrap-options" \ 
    9. 
   
  
  
  9.     dc-version="1.1.5-1.1.el5-01e86afaaa6d4a8c4836f68df80ababd6ca3902f" \ 
    10. 
   
  
  
  10.     cluster-infrastructure="openais" \ 
    11. 
   
  
  
  11.     expected-quorum-votes="2" \ 
    12. 
   
  
  
  12.     stonith-enabled="false" 
    13. 
   
  
  
  13. crm(live)configure# commit  提交
    14. 
   
  
  
  14. crm(live)configure# cd 
    15. 
   
  
  
  15. crm(live)# status 
    16. 
   
  
  
  16. ============ 
    17. 
   
  
  
  17. Last updated: Sun Aug  5 19:44:05 2012 
    18. 
   
  
  
  18. Stack: openais 
    19. 
   
  
  
  19. Current DC: node1.yue.com - partition with quorum 
    20. 
   
  
  
  20. Version: 1.1.5-1.1.el5-01e86afaaa6d4a8c4836f68df80ababd6ca3902f 
    21. 
   
  
  
  21. 2 Nodes configured, 2 expected votes 
    22. 
   
  
  
  22. 1 Resources configured. 
    23. 
   
  
  
  23. ============ 
    24. 
   
  
  
  24.  
    25. 
   
  
  
  25. Online: [ node1.yue.com node2.yue.com ] 
    26. 
   
  
  
  26.  
    27. 
   
  
  
  27. 
 Web_IP(ocf::heartbeat:IPaddr2):Started node2.yue.com

    28. 
   
  
  
  28.  Web_ldirectord (ocf::heartbeat:ldirectord):    Started node1.yue.com 
    29.

查看Web_IP状态：

  
 
 
    

  1. [root@node2 tmp]# ip addr show  注意此时是在node2上
    2. 
   
  
  
  2. 1: lo: <LOOPBACK,UP,LOWER_UP> mtu 16436 qdisc noqueue  
    3. 
   
  
  
  3.     link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 
    4. 
   
  
  
  4.     inet 127.0.0.1/8 scope host lo 
    5. 
   
  
  
  5. 2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast qlen 1000 
    6. 
   
  
  
  6.     link/ether 00:0c:29:d9:75:df brd ff:ff:ff:ff:ff:ff 
    7. 
   
  
  
  7.     inet 172.16.45.12/16 brd 172.16.255.255 scope global eth0 
    8. 
   
  
  
  8.     inet 172.16.45.2/32 brd 172.16.45.255 scope global eth0  
    9.

定义资源  排列约束（Colocation）
Usage:
      colocation <id> <score>: <rsc>[:<role>] <rsc>[:<role>] ...
                  ^      ^       ^             ^
             约束名称   分数    资源1         资源2        . . .       
Example:

   colocation dummy_and_apache -inf: apache dummy
   colocation c1 inf: A ( B C )
   colocation webip_with_webserver  inf: WebIP Web_server

定义资源 顺序约束（Order）        写在前面的先启动，后停止  具体可以使用：show xml 来查看
Usage:

       order <id> score-type: <rsc>[:<action>] <rsc>[:<action>] ...
                        [symmetrical=<bool>]

                score-type :: advisory | mandatory | <score>
                                ^            ^
                               建议值      必须这样做
Example:
   order c_apache_1 mandatory: apache:start ip_1        --> 先启动apache后启动ip_1
   order o1 inf: A ( B C )              --> 先启动 B C ,再启动 A
   order webserver_after_webip  mandatory: Web_server:start WebIP
   
定义资源  位置约束（location）   
Usage:

      location <id> <rsc> {node_pref|rules}
                ^     ^        ^
               名字   资源     分数： 节点名称
                    node_pref :: <score>: <node>
                rules ::
                    rule [id_spec] [$role=<role>] <score>: <expression>
                    [rule [id_spec] [$role=<role>] <score>: <expression> ...]
Examples:

   location conn_1 internal_www 100: node1    
   location webserver_on_node1 Web_server inf: node1.yue.com
   location conn_1 internal_www \
       rule 50: #uname eq node1 \
       rule pingd: defined pingd

   location conn_2 dummy_float \
        rule -inf: not_defined pingd or pingd number:lte 0

排列约束

  
 
 
    

  1. [root@node1 ~]# crm 
    2. 
   
  
  
  2. crm(live)# configure  
    3. 
   
  
  
  3. crm(live)configure# colocation Web_IP_with_Web_ld inf: Web_IP Web_ldirectord 
    4. 
   
  
  
  4. crm(live)configure# verify 
    5. 
   
  
  
  5. crm(live)configure# show 
    6. 
   
  
  
  6. node node1.yue.com 
    7. 
   
  
  
  7. node node2.yue.com 
    8. 
   
  
  
  8. primitive Web_IP ocf:heartbeat:IPaddr2 \ 
    9. 
   
  
  
  9.     params ip="172.16.45.2" nic="eth0" cidr_netmask="32" broadcast="172.16.45.255" lvs_support="true" 
    10. 
   
  
  
  10. primitive Web_ldirectord ocf:heartbeat:ldirectord 
    11. 
   
  
  
  11. colocation Web_IP_with_Web_ld inf: Web_IP Web_ldirectord 
    12. 
   
  
  
  12. property $id="cib-bootstrap-options" \ 
    13. 
   
  
  
  13.     dc-version="1.1.5-1.1.el5-01e86afaaa6d4a8c4836f68df80ababd6ca3902f" \ 
    14. 
   
  
  
  14.     cluster-infrastructure="openais" \ 
    15. 
   
  
  
  15.     expected-quorum-votes="2" \ 
    16. 
   
  
  
  16.     stonith-enabled="false" 
    17. 
   
  
  
  17. crm(live)configure# commit 
    18. 
   
  
  
  18. crm(live)configure# cd 
    19. 
   
  
  
  19. crm(live)# status 
    20. 
   
  
  
  20. ============ 
    21. 
   
  
  
  21. Last updated: Sun Aug  5 19:50:51 2012 
    22. 
   
  
  
  22. Stack: openais 
    23. 
   
  
  
  23. Current DC: node1.yue.com - partition with quorum 
    24. 
   
  
  
  24. Version: 1.1.5-1.1.el5-01e86afaaa6d4a8c4836f68df80ababd6ca3902f 
    25. 
   
  
  
  25. 2 Nodes configured, 2 expected votes 
    26. 
   
  
  
  26. 2 Resources configured. 
    27. 
   
  
  
  27. ============ 
    28. 
   
  
  
  28.  
    29. 
   
  
  
  29. Online: [ node1.yue.com node2.yue.com ] 
    30. 
   
  
  
  30.  
    31. 
   
  
  
  31. 
 Web_ldirectord (ocf::heartbeat:ldirectord):    Started node1.yue.com 

    32. 
   
  
  
  32. 
 Web_IP (ocf::heartbeat:IPaddr2):   Started node1.yue.com 

    33. 
   
  
  
  33. crm(live)# exit
    34. 
  
 
 
  
 
 
    

  1. [root@node1 ~]# ipvsadm -Ln 
    2. 
   
  
  
  2. IP Virtual Server version 1.2.1 (size=4096) 
    3. 
   
  
  
  3. Prot LocalAddress:Port Scheduler Flags 
    4. 
   
  
  
  4.   -> RemoteAddress:Port           Forward Weight ActiveConn InActConn 
    5. 
   
  
  
  5. TCP  172.16.45.2:80 rr 
    6. 
   
  
  
  6.   -> 172.16.45.6:80               Route   1      0          1          
    7. 
   
  
  
  7.   -> 172.16.45.5:80               Route   1      0          0  
    8.

利用corosync/openais + ldirectord 实现LVS（DR）中的Director 的高可用

顺序约束

  
 
 
    

  1. [root@node1 ~]# crm 
    2. 
   
  
  
  2. crm(live)# configure  
    3. 
   
  
  
  3. crm(live)configure# order ld_after_ip mandatory: Web_IP Web_ldirectord 
    4. 
   
  
  
  4. crm(live)configure# verify 
    5. 
   
  
  
  5. crm(live)configure# show 
    6. 
   
  
  
  6. node node1.yue.com 
    7. 
   
  
  
  7. node node2.yue.com 
    8. 
   
  
  
  8. primitive Web_IP ocf:heartbeat:IPaddr2 \ 
    9. 
   
  
  
  9.     params ip="172.16.45.2" nic="eth0" cidr_netmask="32" broadcast="172.16.45.255" lvs_support="true" 
    10. 
   
  
  
  10. primitive Web_ldirectord ocf:heartbeat:ldirectord 
    11. 
   
  
  
  11. colocation Web_IP_with_Web_ld inf: Web_IP Web_ldirectord 
    12. 
   
  
  
  12. order ld_after_ip inf: Web_IP Web_ldirectord 
    13. 
   
  
  
  13. property $id="cib-bootstrap-options" \ 
    14. 
   
  
  
  14.     dc-version="1.1.5-1.1.el5-01e86afaaa6d4a8c4836f68df80ababd6ca3902f" \ 
    15. 
   
  
  
  15.     cluster-infrastructure="openais" \ 
    16. 
   
  
  
  16.     expected-quorum-votes="2" \ 
    17. 
   
  
  
  17.     stonith-enabled="false" 
    18. 
   
  
  
  18. crm(live)configure# commit 
    19. 
   
  
  
  19. crm(live)configure# bye 
    20. 
  
 
 

  
 
 
    

  1.   
    2. 
   
  
  
  2. [root@node1 ~]# ssh node2 'crm node standby'  让执行命令的节点 standby
    3. 
   
  
  
  3. [root@node1 ~]# crm status  
    4. 
   
  
  
  4. ============  
    5. 
   
  
  
  5. Last updated: Sun Aug  5 20:08:19 2012  
    6. 
   
  
  
  6. Stack: openais  
    7. 
   
  
  
  7. Current DC: node1.yue.com - partition with quorum  
    8. 
   
  
  
  8. Version: 1.1.5-1.1.el5-01e86afaaa6d4a8c4836f68df80ababd6ca3902f  
    9. 
   
  
  
  9. 2 Nodes configured, 2 expected votes  
    10. 
   
  
  
  10. 2 Resources configured.  
    11. 
   
  
  
  11. ============  
    12. 
   
  
  
  12.   
    13. 
   
  
  
  13. Node node1.yue.com: standby  
    14. 
   
  
  
  14. Online: [ node2.yue.com ]  
    15. 
   
  
  
  15.   
    16. 
   
  
  
  16.  Web_ldirectord (ocf::heartbeat:ldirectord):    Started node1.yue.com  
    17. 
   
  
  
  17.  Web_IP (ocf::heartbeat:IPaddr2):   Started node1.yue.com  
    18. 
  
 
 
  
 
 
    

  1. [root@node1 tmp]# ipvsadm -Ln 
    2. 
   
  
  
  2. IP Virtual Server version 1.2.1 (size=4096) 
    3. 
   
  
  
  3. Prot LocalAddress:Port Scheduler Flags 
    4. 
   
  
  
  4.   -> RemoteAddress:Port           Forward Weight ActiveConn InActConn 
    5. 
   
  
  
  5. TCP  172.16.45.2:80 rr 
    6. 
   
  
  
  6.   -> 172.16.45.6:80               Route   1      0          2          
    7. 
   
  
  
  7.   -> 172.16.45.5:80               Route   1      0          1  
    8.

利用corosync/openais + ldirectord 实现LVS（DR）中的Director 的高可用

 

本文出自 “昶x月” 博客，请务必保留此出处http://xyuex.blog.51cto.com/5131937/955483

标签：

相关文章