DRBD
Distrubuted Replicated Block Device 分布式复制块设备 与ipvs和iptables类似 DRBD功能是在内核中完成DRDB 需要在用户空间定义磁盘设备为DRDB设备 drdbadm 一般数据写入磁盘的过程：Service--> Fs--> BufferCache-->Disk Schedule--> Disk Driver--> DiskStorage DRDB设备写入过程Service--> Fs--> BufferCache-->DRDB-->Disk Schedule--> Disk Driver--> DiskStorage |__>TCP/IP -->NIC Driver-->slave NIC Driver-->TCP/IP-->DRDB-->Disk Schedule--> Disk Driver--> DiskStorage 可见DRDB设备中的数据写入是分为两路：一路写入本地磁盘内 一路通过DRDB功能写入从服务器中 DRDB有主从和主主两种构建方式 master/master: cluster filesystem: GFS2 OCFS2（自带的有HA功能 下两步就不需要） HA dlm 分布式锁管理 作为HA的ra来使用 master/slave master可对DRDB磁盘读写和挂载 slave不能对DRDB磁盘读写和挂载 复制模型： Protocol A 异步复制协议 主节点一旦写入完成，数据被发往本地TCP/IP缓存就宣告完成 Protocol B 半同步 内存同步，一旦数据发往本地磁盘开始写，并发往对方的接受缓冲区中即宣告完成 Protocol C 同步复制协议 数据发往本地磁盘，并发往了对方的磁盘中 宣告完成 因为在2.6.18可内核中没有DRBD模块，需要打补丁并重新编译内核添加DRBD模块后才能使用，这里也可以使用kmod-drbd83包直接添加DRBD模块 通过安装drbd的rpm包用户可使用drbdadm命令管理DRBD设备， 目前在用的drbd版本主要有8.0、8.2和8.3三个版本，其对应的rpm包的名字分别为drbd, drbd82和drbd83，对应的内核模块的名字分别为kmod-drbd, kmod-drbd82和kmod-drbd83。各版本的功能和配置等略有差异；我们实验所用的平台为x86且系统为rhel5.4，因此需要同时安装内核模块和管理工具。 我们这里选用最新的8.3的版本(drbd83-8.3.8-1.el5.centos.i386.rpm和kmod-drbd83-8.3.8-1.el5.centos.i686.rpm)，下载地址为：http://mirrors.sohu.com/centos/5.6/extras/i386/RPMS/。 1）本配置共有两个测试节点，分别node1.magedu.com和node2.magedu.com，相的IP地址分别为172.16.21.11和172.16.21.12； 2）node1和node2两个节点上各提供了一个大小相同的分区作为drbd设备；我们这里为在两个节点上均为/dev/sda5，大小为2G； 3）系统为rhel5.4，x86平台； 软件安装（两个节点都要安装） #rpm -ivh drbd83-8.3.8-1.el5.centos.i386.rpm kmod-drbd83-8.3.8-1.el5.centos.i686.rpm drbdadm 的配置文件是分为两段 /etc/drbd.conf 为了管理的便捷性，目前通常会将些配置文件分成多个部分，且都保存至/etc/drbd.d目录中， 主配置文件中仅使用"include"指令将这些配置文件片断整合起来。 /etc/drbd.d/* 包含有global_common.conf和.res结尾的文件 global_common.conf是全局配置文件主要定义global段和common段 global段仅能出现一次，且如果所有的配置信息都保存至同一个配置文件中而不分开为多个文件的话，global段必须位于配置文件的最开始处。 目前global段中可以定义的参数仅有minor-count, dialog-refresh, disable-ip-verification和usage-count。 common段则用于定义被每一个资源默认继承的参数，可以在资源定义中使用的参数都可以在common段中定义。实际应用中， common段并非必须，但建议将多个资源共享的参数定义为common段中的参数以降低配置文件的复杂度。 而每一个.res的文件用于定义一个资源。 这里有一个配置样例； 1)复制样例配置文件为即将使用的配置文件 cp /usr/share/doc/drbd83-8.3.8/drbd.conf /etc 2)配置/etc/drbd.d/golbal-common.conf3）定义一个资源/etc/drbd.d/web.res，内容如下： resource web { //web为资源名可以和文件名不一致
- global {
- usage-count no;
- # minor-count dialog-refresh disable-ip-verification
- }
- common {
- protocol C;
- handlers {
- pri-on-incon-degr "/usr/lib/drbd/notify-pri-on-incon-degr.sh; /usr/lib/drbd/notify-emergency-reboot.sh; echo b > /proc/sysrq-trigger ; reboot -f";
- pri-lost-after-sb "/usr/lib/drbd/notify-pri-lost-after-sb.sh; /usr/lib/drbd/notify-emergency-reboot.sh; echo b > /proc/sysrq-trigger ; reboot -f";
- local-io-error "/usr/lib/drbd/notify-io-error.sh; /usr/lib/drbd/notify-emergency-shutdown.sh; echo o > /proc/sysrq-trigger ; halt -f";
- # fence-peer "/usr/lib/drbd/crm-fence-peer.sh";
- # split-brain "/usr/lib/drbd/notify-split-brain.sh root";
- # out-of-sync "/usr/lib/drbd/notify-out-of-sync.sh root";
- # before-resync-target "/usr/lib/drbd/snapshot-resync-target-lvm.sh -p 15 -- -c 16k";
- # after-resync-target /usr/lib/drbd/unsnapshot-resync-target-lvm.sh;
- }
- startup {
- wfc-timeout 120;
- degr-wfc-timeout 120;
- }
- disk {
- on-io-error detach;
- fencing resource-only;
- }
- net {
- cram-hmac-alg "sha1";
- shared-secret "mydrbdlab";
- }
- syncer {
- rate 1000M;
- }
- }
以上的文件在两个节点上必须相同，因此，可以使用scp命令同步到另一个节点中 在两个节点上初始化已定义的资源并启动服务： 1)初始化资源，在node1和node2分别执行： #drbdadm create-md web 这里的web对应.res文件中的resource名称 2)启动服务 在node2和node2分别执行 #servivce drbd start 3) 指定一个为Primary节点（在node1上执行） #drbdadm -- --overwirte-data-of-peer primary web 4) drdb-overview 数据同步过程已经开始 需要一段时间 结果会显示为 0:web Connected Primary/Secondary UpToDate/UpToDate C r---- 创建文件系统 #mke2fs 0j /dev/drbd0 #mount /dev/drbd0 /mydata [root@node2 mysql]# drbd-overview 0:web Connected Primary/Secondary UpToDate/UpToDate C r---- /mydata ext3 1.9G 66M 1.7G 4% 测试： 在node1的/mydata 目录中touch一个文件 然后 #umount /mydata #drbdadm secondary web 在node2中 #drbdadm primary web #mount /dev/drbd0 #ls /mydata 即可查看到刚才touch到的文件 至此DRBD建立成功 在此基础上实现mysql数据库的基于DRBD，需要利用Corosync+Pacemaker高可用集群，使得mysql在一个节点出现故障时，立即转移到另一节点 而当故障节点恢复后又能重新上线提供服务，并且保证了mysql数据库的数据能同步。 这种方案实现起来较iSCASC 的方式廉价，但却能提供接近99.5%的高可用性 依然利用上面已经建立的DRBD节点中添加Corosync和Pacemaker来提供HA 一、node1和node2能互相解析对方的主机名称 可临时在hosts中添加 二、 双节点需要建立互信认证： 建立双机互信机制：
- on node1.magedu.com {
- device /dev/drbd0;
- disk /dev/sda5;
- address 172.16.21.11:7789;
- meta-disk internal;
- }
- on node2.magedu.com {
- device /dev/drbd0;
- disk /dev/sda5;
- address 172.16.21.12:7789;
- meta-disk internal;
- }
- }
三、HA搭建： 安装： cluster-glue-1.0.6-1.6.el5.i386.rpm cluster-glue-libs-1.0.6-1.6.el5.i386.rpm corosync-1.2.7-1.1.el5.i386.rpm pacemaker-1.0.11-1.2.el5.i386.rpm corosynclib-1.2.7-1.1.el5.i386.rpm pacemaker-libs-1.0.11-1.2.el5.i386.rpm heartbeat-3.0.3-2.3.el5.i386.rpm perl-TimeDate-1.16-5.el5.noarch.rpm heartbeat-libs-3.0.3-2.3.el5.i386.rpm resource-agents-1.0.4-1.1.el5.i386.rpm libesmtp-1.0.4-5.el5.i386.rpm yum localinstall --nogpgcheck *.rpm //使用yum解决依赖关系 安装以上的软件包 ,node1和node2中都要安装 四、 配置样例：corosync.conf：
- node1：
- ssh-keygen -t rsa
- ssh-copy-id -i .ssh/id_rsa.pub root@172.16.21.22
- node2：
- ssh-keygen -t rsa
- ssh-copy-id -i .ssh/id_rsa.pub root@172.16.21.21
上述配置文件在两个节点中都要一样 #service corosync start 五、在一个节点中安装mysql(node1) #groupadd -r mysql #useradd -g mysql -r -M -s /sbin/nologin mysql #chowm _R mysql:mysql /mydata/data 安装mysql并初始化数据库 1、解压软件包： #tar xf mysql-5.5.20-linux2.6-i686.tar.gz -C /usr/local #ln -sv mysql-5.5.20-linux2.6-i686 mysql #cd /usr/local/mysql 2、初始化数据库 #chown mysql:mysql ./* #scripts/mysql_install_db --user=mysql --datadir=/mydata #chown -R root ./* 3、为mysql提供主配置文件： #cd /usr/local/mysql #cp support-files/my-large.cnf /etc/my.cnf 并修改此文件中thread_concurrency 的值为你的CPU个数乘以2 添加mysql数据文件的存放位置： datadir = /mydata 4、为mysql 提供sysv服务脚本： cp support-files/mysql.server /etc/rc.d/init.d/mysqld 在node2中不需要初始化数据库，只需要解压软件提供脚本和配置文件即可： #groupadd -r mysql #useradd -g mysql -r -M -s /sbin/nologin mysql #chowm _R mysql:mysql /mydata/data 1、解压软件包： #tar xf mysql-5.5.20-linux2.6-i686.tar.gz -C /usr/local #ln -sv mysql-5.5.20-linux2.6-i686 mysql #cd /usr/local/mysql 2、为mysql提供主配置文件： #cd /usr/local/mysql #cp support-files/my-large.cnf /etc/my.cnf 并修改此文件中thread_concurrency 的值为你的CPU个数乘以2 添加mysql数据文件的存放位置： datadir = /mydata 3、为mysql 提供sysv服务脚本： cp support-files/mysql.server /etc/rc.d/init.d/mysqld 六、 添加资源：
- cd /detc/corosync
- cp /etc/corosnc/corosync.conf.example corosync.conf
- totem {
- version: 2
- secauth: on
- threads: 0
- interface {
- ringnumber: 0
- bindnetaddr: 172.16.0.0
- mcastaddr: 226.94.2.1
- mcastport: 5405
- }
- }
- logging {
- fileline: off
- to_stderr: no
- to_logfile: yes
- to_syslog: yes
- logfile: /var/log/cluster/corosync.log
- debug: off
- # Please read the corosync.conf.5 manual page
- compatibility: whitetank
- totem {
- version: 2
- secauth: on
- threads: 0
- interface {
- ringnumber: 0
- bindnetaddr: 172.16.0.0
- mcastaddr: 226.94.2.1
- mcastport: 5405
- }
- }
- logging {
- fileline: off
- to_stderr: no
- to_logfile: yes
- to_syslog: yes
- logfile: /var/log/cluster/corosync.log
- debug: off
- timestamp: on
- logger_subsys {
- subsys: AMF
- debug: off
- }
- }
- amf {
- mode: disabled
- }
- service {
- ver: 0
- name: pacemaker
- use_mgmtd: yes
- }
- aisexec {
- user: root
- group: root
- }
//定义了IP drbd fs_drbd mysqld 四个资源，需要在同一个节点中使用 他们的启动次序是 IP fs_drbd drbd mysqld
- #crm configure
- crm(live)configure# edit
- node node1.magedu.com \
- attributes standby="off"
- node node2.magedu.com \
- attributes standby="off"
- primitive IP ocf:heartbeat:IPaddr \
- params ip="172.16.21.100"
- primitive drbd ocf:linbit:drbd \
- params drbd_resource="web" \
- op monitor interval="29s" role="Master" \
- op monitor interval="31s" role="Slave" \
- op start interval="0" timeout="240s" \
- op stop interval="0" timeout="100s"
- primitive fs_drbd ocf:heartbeat:Filesystem \
- params device="/dev/drbd0" directory="/mydata" fstype="ext3" \
- op start interval="0" timeout="60" \
- op stop interval="0" timeout="60" \
- meta target-role="Started"
- primitive mysqld lsb:mysqld
- ms ms_drbd drbd \
- meta master-max="1" master-node-max="1" clone-max="2" clone-node-max="1" notify="true"
- colocation IP_and_fs_drbd inf: IP fs_drbd
- colocation fs_on_drbd_master inf: fs_drbd ms_drbd:Master
- colocation mysqld_and_on_drbd_master inf: mysqld ms_drbd:Master
- order fs_after_drbd_master inf: ms_drbd:promote fs_drbd:start
- order fs_after_mysqld_start inf: fs_drbd:start mysqld:start
- order ip_before_drbd inf: IP:start ms_drbd:promote
- property $id="cib-bootstrap-options" \
- dc-version="1.0.11-1554a83db0d3c3e546cfd3aaff6af1184f79ee87" \
- cluster-infrastructure="openais" \
- expected-quorum-votes="2" \
- stonith-enabled="false" \
- no-quorum-policy="ignore"
- rsc_defaults $id="rsc-options" \
- resource-stickiness="100"
七、测试：
- crm(live)configure# commit
- crm(live)configure# bye
- [root@node1 ~]# crm status
- ============
- Last updated: Sat Apr 14 11:16:08 2012
- Stack: openais
- Current DC: node2.magedu.com - partition with quorum
- Version: 1.0.11-1554a83db0d3c3e546cfd3aaff6af1184f79ee87
- 2 Nodes configured, 2 expected votes
- 4 Resources configured.
- ============
- Online: [ node1.magedu.com node2.magedu.com ]
- fs_drbd (ocf::heartbeat:Filesystem): Started node2.magedu.com
- Master/Slave Set: ms_drbd
- Masters: [ node2.magedu.com ]
- Slaves: [ node1.magedu.com ]
- IP (ocf::heartbeat:IPaddr): Started node2.magedu.com
- mysqld (lsb:mysqld): Started node2.magedu.com
本文出自 “明日香” 博客，请务必保留此出处http://leezqang.blog.51cto.com/1525874/836843