LEMP环境+corosync+pacemaker+drbd 小菜带你玩转高可用集群

时间:2021-09-04 03:19:32

实验开始前先做以下准备:

实验环境:RHEL6.4

    节点1:admin1.tuchao.com 192.168.18.201

    节点2:admin2.tuchao.com 192.168.18.202


首先两个节点安装DRBD,准备相同大小的分区。

yum install drbd-8.4.3-33.el6.i686.rpm  drbd-kmdl-2.6.32-358.el6-8.4.3-33.el6.i686.rpm -y

分区 (略)

接下来操作admin1.tuchao.com

1、配置/etc/drbd.d/global-common.conf

global {

        usage-count no;

        # minor-count dialog-refresh disable-ip-verification

}


common {

        protocol C;


        handlers {

                pri-on-incon-degr "/usr/lib/drbd/notify-pri-on-incon-degr.sh; /usr/lib/drbd/notify-emergency-reboot.sh; echo b > /proc/sysrq-trigger ; reboot -f";

                pri-lost-after-sb "/usr/lib/drbd/notify-pri-lost-after-sb.sh; /usr/lib/drbd/notify-emergency-reboot.sh; echo b > /proc/sysrq-trigger ; reboot -f";

                local-io-error "/usr/lib/drbd/notify-io-error.sh; /usr/lib/drbd/notify-emergency-shutdown.sh; echo o > /proc/sysrq-trigger ; halt -f";

                # fence-peer "/usr/lib/drbd/crm-fence-peer.sh";

                # split-brain "/usr/lib/drbd/notify-split-brain.sh root";

                # out-of-sync "/usr/lib/drbd/notify-out-of-sync.sh root";

                # before-resync-target "/usr/lib/drbd/snapshot-resync-target-lvm.sh -p 15 -- -c 16k";

                # after-resync-target /usr/lib/drbd/unsnapshot-resync-target-lvm.sh;

        }


        startup {

                #wfc-timeout 120;

                #degr-wfc-timeout 120;

        }


        disk {

                on-io-error detach;

                #fencing resource-only;

        }


        net {

                cram-hmac-alg "sha1";

                shared-secret "mydrbdlab";

        }


        syncer {

                rate 1000M;

        }

}

2、定义资源

vim /etc/drbd.d/mydrbd.res

resource mydrbd {

 on admin1.tuchao.com {

  device        /dev/drbd0;

  disk          /dev/sdb1;

  address       192.168.18.201:7789;

  meta-disk     internal;

}

 on admin2.tuchao.com {

  device        /dev/drbd0;

  disk          /dev/sdb1;

  address       192.168.18.202:7789;

  meta-disk     internal;

}

}

3、将配置文件同步到另一个节点

scp global_common.conf mydrbd.res  admin2:/etc/drbd.d/

4、在两个节点上初始化已定义的资源并启动服务

drbdadm create-md mydrbd

/etc/init.d/drbd start

查看状态,也可以使用drbd-overview命令来查看

cat /proc/drbd

version: 8.4.3 (api:1/proto:86-101)

GIT-hash: 89a294209144b68adb3ee85a73221f964d3ee515 build by gardner@, 2013-05-27 06:20:13

 0: cs:Connected ro:Secondary/Secondary ds:UpToDate/UpToDate C r-----

    ns:0 nr:4 dw:4 dr:0 al:0 bm:1 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:0

由此看出,目前两个节点都是(secondary)备用状态。

将admin1节点提升为(primary)主状态

drbdadm primary --force mydrbd

LEMP环境+corosync+pacemaker+drbd 小菜带你玩转高可用集群

同步完成

0:mydrbd/0  Connected Primary/Secondary UpToDate/UpToDate C r----- 

创建文件系统在一个节点上操作就可以了,挂载。

mkfs.ext4 /dev/drbd0

mkdir /mnt/drbd

mount /dev/drbd0 /mnt/drbd

drbd基本配置完成,我们在里面创建一个文件夹。

mkdir /mnt/drbd/mydata

卸载/dev/drbd0,将状态转为备。

umount /dev/drbd0

drbdadm secondary mydrbd

在admin2上,把状态提升为primary

drbdadm primary --force mydrbd

mkdir /mnt/drbd

mount /dev/drbd0 /mnt/drbd

ls /mnt/drbd

LEMP环境+corosync+pacemaker+drbd 小菜带你玩转高可用集群

这时我们再到两个节点上添加一个分区sdb3,做成drbd,用于存放网页数据。

资源配置文件如下:

LEMP环境+corosync+pacemaker+drbd 小菜带你玩转高可用集群

接下来初始化设备,提升状态,创建文件系统都和前面一样,这里略。



两个节点安装配置corosync+pacemaker(略)这个过程我在早期文章有详细介绍这里不再重复。

请参考:http://tchuairen.blog.51cto.com/3848118/1439759


Nginx,PHP安装过程(略),这个内容较多,不是这篇文章的重点,我早期文章也有介绍。

请参考http://tchuairen.blog.51cto.com/3848118/1437530



MySQL安装配置(略)请参考http://tchuairen.blog.51cto.com/3848118/1422258



drbd资源mydrbd:

/dev/drbd0 挂载至  /mnt/drbd 

/mnt/drbd/mydata  --用于存放MySQL数据。

drbd资源webdrbd:

drbd1 挂载至  /mnt/http

/mnt/http/wordpress  --用于存放博客站点数据

/mnt/http/myadmin  --用于存放phpMyAdmin


提升primary状态,挂载文件系统,初始化数据库,测试启动数据库。

drbdadm primary --force mydrbd

./scripts/mysql_install_db --user=mysql --datadir=/mnt/drbd/mydata/

/etc/init.d/mysqld start

创建wpdb库,授权连接用户,用做博客站点。

create database wpdb;

grant all privileges on wpdb.* to 'wpuser'@'127.0.0.1' identified by '123456';

停止数据库,卸载drbd0,状态转为备用。

到另一个节点,提升为primary状态,挂载文件系统,启动服务。

注意这里不需要再次初始化数据库了,在一个节点上做了就可以了,数据会同步过来的。

要保证节点提升为primary挂载文件系统正常,MySQL能启动,MySQL这边就差不多完事了。



webdrbd资源提升primary,挂载文件系统,导入博客站点数据。

drbdadm primary --force webdrbd

mkdir /mnt/http

mkfs.ext4 /dev/drbd1

mount /dev/drbd1  /mnt/http/

tar zxvf wordpress-3.9-zh_CN.tar.gz

mkdir /mnt/http/wordpress

mkdir /mnt/http/myadmin

mv wordpress/* /mnt/http/wordpress/

配置wordpress 数据库接口。

cp config.sample.inc.php  config.inc.php

vim config.inc.php

LEMP环境+corosync+pacemaker+drbd 小菜带你玩转高可用集群

导入phpMyAdmin数据。

unzip phpMyAdmin-4.0.5-all-languages.zip
cd phpMyAdmin-4.0.5-all-languages

mv phpMyAdmin-4.0.5-all-languages/* /mnt/http/myadmin/

生成一串随机数加入到config.inc.php文件。


配置php-fpm

vim /usr/local/php/etc/php-fpm.conf

LEMP环境+corosync+pacemaker+drbd 小菜带你玩转高可用集群

完成后保存,启动php-fpm。


接下来配置Nginx,包含vhost目录下所有以.conf结尾的文件。

在http段中加入:

include vhost/*.conf;

为wordpress博客添加虚拟主机

vim /etc/nginx/vhost/www.tuchao.com.conf

LEMP环境+corosync+pacemaker+drbd 小菜带你玩转高可用集群

为phpMyAdmin添加虚拟主机。

LEMP环境+corosync+pacemaker+drbd 小菜带你玩转高可用集群

然后重启nginx服务,访问页面测试。

www.tuchao.com

LEMP环境+corosync+pacemaker+drbd 小菜带你玩转高可用集群

www.myadmin.com

LEMP环境+corosync+pacemaker+drbd 小菜带你玩转高可用集群



另一个节点安装好相应的应用程序,把配置文件同步过去。

数据则是通过drbd切换过去,然后把服务都启动起来测试一下能否正常工作,这里一定要测试。

这里我测试都工作正常,博客和php-MyAdmin都可以正常访问,操作和前面差不多,我就省略了。


资源定义有常用的两个工具,crmsh和pcs,这里介绍下pcs简单用法。

pcs property set stonith-enabled=false

pcs property set no-quorum-policy=ignore

pcs resource create vip ocf:heartbeat:IPaddr params ip=192.168.18.254 cidr_netmask=24

pcs resource create //创建资源

pcs constraint order vip then webstore then httpd  //定义顺序约束

pcs resource group add myservice  <res> <res> ... //定义资源组


在定义php-fpm为集群资源出错时,解决方法请参考:http://tchuairen.blog.51cto.com/3848118/1534231


接下来进入正题,定义资源,实现两个节点高可用。


我们需要定义的资源:

vip:192.168.18.254

mydrbd //需要定义为主从,当主节点出现故障后,从节点自动提升为主节点,实现高可用。

webdrbd //同上

为mydrbd定义文件系统挂载点,为MySQL提供存储。

为webdrbd定义文件系统挂载点,为站点程序提供存储。

mysqld //MySQL服务

nginx  //nginx服务

php-fpm //php-fpm服务


查看资源代理使用帮助信息

crm ra meta ocf:linbit:drbd

pcs resource describe ocf:linbit:drbd


由于我们没有stonith设备,所以要关闭stonith不然会报错。

crm configure property stonith-enabled=false

由于我们只有两个节点,配置忽略票数。

crm configure property no-quorum-policy=ignore


定义主从drbd参数。

master-max 有多少个可以提升为主节点的。

master-node-max 在单个节点上最多可以运行几个主资源

clone-max 最多可以运行多少个clone

clone-node-max 单个节点最多可以运行多少个clone

notify 是否启用通知机制


定义mydrbd资源代理

primitive mydrbd ocf:linbit:drbd \

        params drbd_resource="mydrbd" \

        op monitor role="Master" interval="10" timeout="20" \

        op monitor role="Slave" interval="20" timeout="20" \

        op start timeout="240" interval="0" \

        op stop timeout="100" interval="0"

定义mysqld

primitive mysqld lsb:mysqld \

        op monitor interval="15" timeout="15" \

        op start timeout="30" interval="0" \

        op stop timeout="30" interval="0"

定义drbd0挂载资源,为mysql提供数据存储。

primitive mystore ocf:heartbeat:Filesystem \

        params device="/dev/drbd0" directory="/mnt/drbd" fstype="ext4" \

        op monitor interval="60" timeout="50" \

        op start timeout="60" interval="0" \

        op stop timeout="60" interval="0"

定义nginx

primitive nginx lsb:nginx \

        op monitor interval="15" timeout="15" \

        op start timeout="15" interval="0" \

        op stop timeout="15" interval="0"

定义php-fpm

primitive php-fpm lsb:php-fpm

定义vip

primitive vip ocf:heartbeat:IPaddr \

        params ip="192.168.18.254" cidr_netmask="24" \

        op monitor interval="10" timeout="20" on-fail="restart" \

        op start timeout="20" interval="0" \

        op stop timeout="20" interval="0"

定义webdrbd资源代理

primitive webdrbd ocf:linbit:drbd \

        params drbd_resource="webdrbd" \

        op monitor role="Master" interval="10" timeout="20" \

        op monitor role="Slave" interval="20" timeout="20" \

        op start timeout="240" interval="0" \

        op stop timeout="100" interval="0"

定义webdrbd挂载资源,为网站程序提供数据存储。

primitive webstore ocf:heartbeat:Filesystem \

        params device="/dev/drbd1" directory="/mnt/http" fstype="ext4" \

        op monitor interval="60" timeout="50" \

        op start timeout="60" interval="0" \

        op stop timeout="60" interval="0"

定义资源组

group webserver mysqld nginx vip php-fpm

将mydrbd定义为主从类型

ms ms_mydrbd mydrbd \

        meta master-max="1" master-node-max="1" clone-max="2" clone-node-max="1" notify="true"

将webdrbd定义为主从类型

ms ms_webdrbd webdrbd \

        meta master-max="1" master-node-max="1" clone-max="2" clone-node-max="1" notify="true"


排列约束


定义mysql与mystore在同一节点运行

colocation mysqld_with_mystore inf: mystore mysqld

定义mystore与ms_mydrbd的主节点在同一节点运行

colocation mystore_with_ms_mydrbd inf: ms_mydrbd:Master mystore

定义webstore与ms_webdrbd的主节点在同一节点运行

colocation webstore_with_ms_webdrbd inf: webstore ms_webdrbd:Master

定义nginx与webstore在同一节点运行

colocation webstore_with_nginx inf: webstore nginx


顺序约束


定义先启动mystore,再启动mysqld。

order mysqld_after_mystore inf: mystore mysqld

定义先启动ms_mydrbd,再启动mystore。

order mystore_after_ms_mydrbd inf: ms_mydrbd:promote mystore:start

定义先启动webstore,再启动nginx。

order nginx_after_webstore inf: webstore nginx

定义先启动ms_webdrbd,再启动webstore。

order webstore_after_ms_webdrbd inf: ms_webdrbd:promote webstore:start


以下是crm configure show 整体信息:

LEMP环境+corosync+pacemaker+drbd 小菜带你玩转高可用集群

查看集群状态信息

LEMP环境+corosync+pacemaker+drbd 小菜带你玩转高可用集群


我们去节点一检测:

LEMP环境+corosync+pacemaker+drbd 小菜带你玩转高可用集群LEMP环境+corosync+pacemaker+drbd 小菜带你玩转高可用集群

LEMP环境+corosync+pacemaker+drbd 小菜带你玩转高可用集群

LEMP环境+corosync+pacemaker+drbd 小菜带你玩转高可用集群

访问博客站点

LEMP环境+corosync+pacemaker+drbd 小菜带你玩转高可用集群

php-MyAdmin可以正常登录

LEMP环境+corosync+pacemaker+drbd 小菜带你玩转高可用集群


这时我们把节点一关机,然后查看状态。

LEMP环境+corosync+pacemaker+drbd 小菜带你玩转高可用集群

服务访问也正常。


实验到这里就完成了,我这里漏了一点,在定义资源监控的时候没有在后面加on-fail="restart" 这个可以实现,资源在运行过程中停止了,资源管理器会自动把资源重启的。


有更好的建议欢迎与我交流QQ:1183710107

本文出自 “突破舒适区” 博客,转载请与作者联系!