corosync+pacemaker+drbd+mysql实现mysql高可用

############################################################
#####                     服务器架构                         ##
############################################################
服务器：vm_test1：
        网卡： eth0 192.168.1.213 用于外网通信
       网卡： eth1 192.168.2.213 用于和另外一台服务器通信
       磁盘两块
服务器：vm_test2:
       网卡： eth0 192.168.1.214 用于外网通信
       网卡： eth1 192.168.2.214 用于和另外一台服务器通信
       磁盘两块
mysql对外提供服务的vip 192.168.1.215

############################################################
#####           前期准备工作                   ############
############################################################
1 网络配置（两台服务器都要配置）
略
2 配置主机名
vm_test1:
   动态改（本次生效）
   [root@vm_test1 ~]# hostname vm_test1

   更改配置文件（重启后同样生效）
   [root@vm_test1 ~]# vi /etc/sysconfig/network
       HOSTNAME=vm_test1

   更改hosts文件
   [root@vm_test1 ~]# vi /etc/hosts
   192.168.2.213 vm_test1
   192.168.2.214 vm_test2

vm_test2:
   动态改（本次生效）
   [root@vm_test2 ~]# hostname vm_test2

   更改配置文件（重启后同样生效）
   [root@vm_test2 ~]# vi /etc/sysconfig/network
       HOSTNAME=vm_test1

   更改hosts文件
   [root@vm_test2 ~]# vi /etc/hosts
   192.168.2.213 vm_test1
   192.168.2.214 vm_test2

3 设置时间同步（两台服务器的操作是一样的）
vm_test1：
   [root@vm_test1 ~]# yum clean all
   [root@vm_test1 ~]# yum -y install ntp
   [root@vm_test1 ~]# ntpdate us.pool.ntp.org;hwclock --systohc

vm_test2:
   [root@vm_test2 ~]# yum clean all
   [root@vm_test2 ~]# yum -y install ntp
   [root@vm_test2 ~]# ntpdate us.pool.ntp.org;hwclock --systohc

4 关闭selinux (两台服务器的操作是一样的)
vm_test1:
   [root@vm_test1 ~]# vi /etc/selinux/config
   SELINUX=disabled

vm_test2:
   [root@vm_test2 ~]# vi /etc/selinux/config
   SELINUX=disabled

5 关闭防火墙（先没有测试防火墙部分所以先关闭）
vm_test1:
   [root@vm_test1 ~]# service iptables stop
   [root@vm_test1 ~]# chkconfig iptables off
vm_test2:
   [root@vm_test2 ~]# service iptables stop
   [root@vm_test2 ~]# chkconfig iptables off
6 双机互信配置
vm_test1:
   [root@vm_test1 ~]# ssh-keygen -t rsa -f /root/.ssh/id_rsa -P ''
   [root@vm_test1 ~]# ssh-copy-id /root/.ssh/id_rsa.pub root@vm_test2

vm_test2:
   [root@vm_test2 ~]# ssh-keygen -t rsa -f /root/.ssh/id_rsa -P ''
   [root@vm_test2 ~]# ssh-copy-id -i /root/.ssh/id_rsa.pub root@vm_test1

vm_test1:
   [root@vm_test1 ~]# ssh root@vm_test2 -t "ifconfig eth1"
   eth1      Link encap:Ethernet HWaddr 00:16:3E:4A:D0:C1
              inet addr:192.168.2.214 Bcast:192.168.2.255 Mask:255.255.255.0
vm_test2:
   [root@vm_test2 ~]# ssh root@vm_test1 -t "ifconfig eth1"
   eth1      Link encap:Ethernet HWaddr 00:16:3E:AE:8C:3A
              inet addr:192.168.2.213 Bcast:192.168.2.255 Mask:255.255.255.0   # 互信成功
7 重启两台服务器 (如果以前selinux是关闭状态就不用重启)

#################################################################################
##    第二块硬盘配置成lvm逻辑卷方便以后动态扩展两台服务器上操作一模一样           #
#################################################################################

   [root@vm_test1 ~]# fdisk /dev/xvdb
   Command (m for help): n
   Command action
       e   extended
       p   primary partition (1-4)
   p
   Partition number (1-4): 1
   First cylinder (1-382, default 1):
   Using default value 1
   Last cylinder, +cylinders or +size{K,M,G} (1-382, default 382): +1G

   Command (m for help): p

   Disk /dev/xvdb: 3145 MB, 3145728000 bytes （中间有些信息省略）
   。。。。。。。
   Disk identifier: 0x67d350c9

       Device Boot      Start         End      Blocks   Id System
   /dev/xvdb1               1         132     1060258+ 83 Linux

   Command (m for help): t

   Hex code (type L to list codes): 8e
   Changed system type of partition 1 to 8e (Linux LVM)

   Command (m for help): p

   Disk /dev/xvdb: 3145 MB, 3145728000 bytes
   。。。。。。
   Disk identifier: 0x67d350c9

       Device Boot      Start         End      Blocks   Id System
   /dev/xvdb1               1         132     1060258+ 8e Linux LVM
   Command (m for help): w
   The partition table has been altered!
   [root@vm_test1 ~]# partx /dev/xvdb # 加载分区信息
   [root@vm_test1 ~]# pvcreate /dev/xvdb1 # 创建pv
   [root@vm_test1 ~]# vgcreate -s 16M data_group /dev/xvdb1 # 创建vg,并指定vg名称为data_group
   [root@vm_test1 ~]# lvcreate -L 500M -n mysql_data data_group # 创建用来保存mysql数据的lv并指定名称为mysql_data,大小为500M
   [root@vm_test1 ~]# mkfs.ext4 /dev/data_group/mysql_data   # 格式化为ext4的文件系统
   [root@vm_test1 ~]# mkdir -p /data/mysql # 创建一个文件夹用来保存mysql的数据
   [root@vm_test1 ~]# mount /dev/data_group/mysql_data /data/mysql # 挂载测试一下
   [root@vm_test1 ~]# cd /data/mysql/
   [root@vm_test1 mysql]# touch aa.txt   # 可以写入数据说明成功
   [root@vm_test1 mysql]# cd
   [root@vm_test1 ~]# umount /data/mysql # 先卸载掉

############################################################################################
#                                           drbd的安装与配置                                ##
############################################################################################
1 安装
vm_test1:
   [root@vm_test1 ~]# rpm -Uvh http://www.elrepo.org/elrepo-release-6-6.el6.elrepo.noarch.rpm
   [root@vm_test1 ~]# yum -y --enablerepo=elrepo install drbd83-utils kmod-drbd83

vm_test2:
   [root@vm_test2 ~]# rpm -Uvh http://www.elrepo.org/elrepo-release-6-6.el6.elrepo.noarch.rpm
   [root@vm_test2 ~]# yum -y --enablerepo=elrepo install drbd83-utils kmod-drbd83

2 加载模块，并检验是否已经支持
vm_test1:
   [root@vm_test1 ~]# modprobe drbd
   [root@vm_test1 ~]# lsmod | grep drbd
   drbd                  332493 0
vm_test2:
   [root@vm_test2 ~]# modprobe drbd
   [root@vm_test2 ~]# lsmod | grep drbd
   drbd                  332493 0

3 修改配置文件，添加资源
vm_test1:
   [root@vm_test1 ~]# cp /etc/drbd.conf /etc/drbd.conf.bak # 备份主配置文件
   [root@vm_test1 ~]# vi /etc/drbd.conf   # 里面默认已经配置好了，这里我们不用动
   [root@vm_test1 ~]# vi /etc/drbd.d/global_common.conf   # 更改全局配置文件
   global {
           usage-count no; # 不参与统计
           # minor-count dialog-refresh disable-ip-verification
   }

   common {
           protocol C;
           syncer {
                   rate    1000M; # 配置同步带宽
           }
   }

   # 添加资源配置文件
   [root@vm_test1 ~]# vi /etc/drbd.d/mysql_data.res

   resource mysql_data {
           net {
                   cram-hmac-alg sha1; # 设置主备机之间通信使用的信息算法.
                   shared-secret "yumao123456"; # 共享密码
           }
           on vm_test1 {   # 每个主机的说明以“on”开头,后面是主机名.在后面的{}中为这个主机的配置.
                   device    /dev/drbd0; # 一个DRBD设备(即:/dev/drbdX),叫做“资源“.里面包含一个DRBD设备的主备节点的相关信息.
                   disk      /dev/data_group/mysql_data; # /dev/drbd0使用的磁盘分区是/dev/sdb1
                   address   192.168.2.213:7789;
                   meta-disk internal;
           }
           on vm_test2 {
                   device    /dev/drbd0;
                   disk      /dev/data_group/mysql_data;
                   address   192.168.2.214:7789;
                   meta-disk internal;
           }
   }
vm_test2:
   操作同vm_test1
4 创建资源
vm_test1:
   [root@vm_test1 ~]# drbdadm create-md mysql_data
   执行上条命令出现错误exited with code 40 则先往文件系统中写入一些东西
   [root@vm_test1 ~]# dd if=/dev/zero of=/dev/data_group/mysql_data bs=1M count=5 （# 只能在一个节点上执行）
   [root@vm_test1 ~]# drbdadm create-md mysql_data # 再一次创建资源
   [root@vm_test1 ~]# drbdadm up mysql_data # 出现错误的话执行下面的操作
   0: Failure: (124) Device is attached to a disk (use detach first)
   [root@vm_test1 ~]# drbdadm detach mysql_data # 由于开始创建一次资源失败，先断开资源然后
   [root@vm_test1 ~]# drbdadm attach mysql_data # 连接
vm_test2:
   同vm_test1

5 设置主节点
vm_test1:
   [root@vm_test1 ~]# drbdadm -- --overwrite-data-of-peer primary mysql_data （# 只能在将要设置成主节点的服务器上执行）
   [root@vm_test1 ~]# drbdadm primary --force mysql_data   （# 只能在主节点上执行）
   [root@vm_test1 ~]# cat /proc/drbd （# 查看两个节点之间数据同步状态）
   version: 8.3.16 (api:88/proto:86-97)
   GIT-hash: a798fa7e274428a357657fb52f0ecf40192c1985 build by phil@Build64R6, 2014-11-24 14:51:37
   0: cs:SyncSource ro:Primary/Secondary ds:UpToDate/Inconsistent C r-----
       ns:21120 nr:0 dw:0 dr:21784 al:0 bm:1 lo:0 pe:2 ua:0 ap:0 ep:1 wo:f oos:503140
       [>....................] sync'ed: 4.7% (503140/524236)K
       finish: 0:28:26 speed: 284 (272) K/sec


6 测试挂载（以下只能在主节点上执行）
vm_test1:
   [root@vm_test1 ~]# mkfs.ext4 /dev/drbd0     # 格式化
   [root@vm_test1 ~]# mount /dev/drbd0 /data/mysql    # 挂载
   [root@vm_test1 ~]# cd /data/mysql/
   [root@vm_test1 mysql]# ls
   lost+found
   [root@vm_test1 mysql]# touch 111.txt
   [root@vm_test1 mysql]# cd
   [root@vm_test1 ~]# umount /data/mysql          # 卸载

7 关闭drbd服务，把它的启动交给Pacemaker来管理（两台服务器上都要执行）
vm_test1:
   [root@vm_test1 ~]# chkconfig drbd off    # 关闭drbd的开机启动，它的开机交给Pacemaker来管理
   [root@vm_test1 ~]# chkconfig --list drbd
   drbd              0:off   1:off   2:off   3:off   4:off   5:off   6:off
   [root@vm_test1 ~]# service drbd stop
   Stopping all DRBD resources: .
vm_test2:
   同vm_test1

#############################################################################
#              安装和配置CoroSync + Pacemaker                               #
#############################################################################

1 安装Corosync   (两台服务器上都要装)
vm_test1:
   [root@vm_test1 ~]# yum -y install corosync
vm_test2:
   同vm_test1
2 配置Corosync
vm_test1:
   [root@vm_test1 corosync]# cp corosync.conf.example corosync.conf
   [root@vm_test1 corosync]# vi /etc/corosync/corosync.conf # 修改配置文件 (在线上用的时候要把注释去除)
   # Please read the corosync.conf.5 manual page
   compatibility: whitetank
   totem {
           version: 2
           secauth: on
           threads: 0
           interface {
                   ringnumber: 0
                   bindnetaddr: 192.168.1.0 # 绑定的网络地址
                   mcastaddr: 226.56.3.1 # 多播地址
                   mcastport: 5405 # 多播端口
                   ttl: 1
           }
   }

   logging {
           fileline: off
           to_stderr: no
           to_logfile: yes
           logfile: /var/log/cluster/corosync.log
           to_syslog: no
           debug: off
           timestamp: on
           logger_subsys {
                   subsys: AMF
                   debug: off
           }
   }

   amf {
           mode: disabled

   }

   service {
           ver: 0
           name: pacemaker # lrm托管给pacemaker
   }

   aisexec {
      user: root
      group: root
   }

3 vm_test1的配置文件copy到vm_test2上
vm_test1:
   [root@vm_test1 ~]# scp -p /etc/corosync/corosync.conf root@vm_test2:/etc/corosync/

4 生成authkey
vm_test1:
   [root@vm_test1 ~]# cd /etc/corosync/
   [root@vm_test1 corosync]# corosync-keygen

5 把vm_test1上的密钥copy到vm_test2上
vm_test1:
   [root@vm_test1 corosync]# scp /etc/corosync/authkey root@vm_test2:/etc/corosync/ # 确保密钥的权限为400

6 启动服务（两个节点都要执行）
vm_test1:
   [root@vm_test1 ~]# service corosync start
vm_test2:
   同vm_test1

7 安装pacemaker （两个节点都要执行）
vm_test1:
   [root@vm_test1 ~]# yum -y install pacemaker
vm_test2:
   同vm_test1

8 安装crm (两个节点都要执行)
vm_test1:
   [root@vm_test1 ~]# yum install -y python-dateutil python-lxml
   [root@vm_test1 ~]# tar zxvf pssh-2.3.1.tar.gz
   [root@vm_test1 ~]# cd pssh-2.3.1
   [root@vm_test1 pssh-2.3.1]# python setup.py install

   [root@vm_test1 pssh-2.3.1]# cd ../
   [root@vm_test1 ~]# tar zxvf PyYAML-3.11.tar.gz
   [root@vm_test1 ~]# cd PyYAML-3.11
   [root@vm_test1 PyYAML-3.11]# python setup.py install

   [root@vm_test1 PyYAML-3.11]# cd ../
   [root@vm_test1 rpm]# rpm -ivh crmsh-2.1-1.6.x86_64.rpm --nodeps
vm_test2:
   同vm_test1

9 重启corosync （两个节点上都要执行）
vm_test1:
   [root@vm_test1 ~]# /etc/init.d/corosync restart
vm_test2:
   同vm_test1
10 查看启动状态
vm_test1:
   [root@vm_test1 ~]# grep -e "Corosync Cluster Engine" -e "configuration file" /var/log/cluster/corosync.log   # 查看corosync引擎是否正常启动
   [root@vm_test1 ~]# grep TOTEM /var/log/cluster/corosync.log # 查看初始化成员节点通知是否正常发出
   [root@vm_test1 ~]# grep ERROR: /var/log/cluster/corosync.log # 检查启动过程中是否有错误产生
   [root@vm_test1 ~]# grep pcmk_startup /var/log/cluster/corosync.log # 查看pacemaker是否正常启动
   [root@vm_test1 ~]# crm status # 查看集群状态信息
   Last updated: Sat Apr 18 23:06:51 2015
   Last change: Sat Apr 18 22:33:12 2015
   Stack: classic openais (with plugin)
   Current DC: vm_test1 - partition with quorum
   Version: 1.1.11-97629de
   2 Nodes configured, 2 expected votes
   0 Resources configured

   Online: [ vm_test1 vm_test2 ] # vm_test1 vm_test2 都在线 DC为vm_test1

####################################################################
###                       安装mysql两台服务器操作相同                   #
####################################################################
vm_test1:
   [root@vm_test1 ~]# rpm --import http://yum.mariadb.org/RPM-GPG-KEY-MariaDB
   [root@vm_test1 ~]# vim /etc/yum.repos.d/MariaDB.repo
   # MariaDB 10.0 CentOS repository list - created 2014-03-15 08:00 UTC
   # http://mariadb.org/mariadb/repositories/
   [mariadb]
   name = MariaDB
   baseurl = http://yum.mariadb.org/10.0/centos6-amd64
   gpgkey=https://yum.mariadb.org/RPM-GPG-KEY-MariaDB
   gpgcheck=1
   [root@vm_test1 ~]# yum clean all
   [root@vm_test1 ~]# yum -y install MariaDB-server MariaDB-client # 安装MariaDB
   [root@vm_test1 ~]# id mysql
   uid=498(mysql) gid=498(mysql) groups=498(mysql) # 确保两台服务器mysql用户id相同
   [root@vm_test1 ~]# chkconfig mysql off # 关闭mysql服务的开机启动
vm_test2:
   同vm_test1

#########################################################################
#            先启用一次drbd，在主节点上挂载创建一个测试数据库       #####
#########################################################################
1 mysql配置与初始化
vm_test1:
   [root@vm_test1 ~]# service drbd start
vm_test2:
   [root@vm_test2 ~]# service drbd start
vm_test1:
   [root@vm_test1 ~]# drbdadm primary mysql_data
   [root@vm_test1 ~]# mount /dev/drbd0 /data/mysql

vm_test1:
   [root@vm_test1 ~]# chown -R mysql:mysql /data/mysql # 更改文件夹的所属组
vm_test2:
   [root@vm_test2 ~]# chown -R mysql:mysql /data/mysql

vm_test1:
   [root@vm_test1 ~]# mv /var/lib/mysql/* /data/mysql/
   [root@vm_test1 ~]# rm -rf /var/lib/mysql
   [root@vm_test1 ~]# ln -s /data/mysql /var/lib/ # 创建软连接
   [root@vm_test1 ~]# service mysql start # 启动mysql服务
   [root@vm_test1 ~]# mysql_secure_installation # 初始化mysql

2 创建一个数据库用来测试
vm_test1:
   [root@vm_test1 ~]# mysql -u root -p
   Enter password:
   MariaDB [(none)]> create database mysql_testdb;

#####################################################################################
#        drbd主从切换在从节点上设置和启动mysql查看是否有在主节点上创建的数据库        #
#####################################################################################
1 把资源手动从vm_test1切换到vm_test2
vm_test1:
   [root@vm_test1 ~]# service mysql stop # 停止主节点mysql服务
   [root@vm_test1 ~]# umount /data/mysql # 卸载drbd文件系统
   [root@vm_test1 ~]# drbdadm secondary mysql_data # 降为drbd从节点

2 配置vm_test2上的mysql
vm_test2:
   [root@vm_test2 ~]# drbdadm primary mysql_data # 升为主节点
   [root@vm_test2 ~]# mount /dev/drbd0 /data/mysql # 挂载
   [root@vm_test2 ~]# rm -rf /var/lib/mysql # 删除原来默认的mysql用户数据
   [root@vm_test2 ~]# ln -s /data/mysql /var/lib/ # 创建软连接
   [root@vm_test2 ~]# service mysql start # 启动mysql服务
   Starting MySQL. SUCCESS!
   [root@vm_test2 ~]# mysql -u root -p # 登录mysql
   Enter password:
   MariaDB [(none)]> show databases;
   +---------------------+
   | Database            |
   +---------------------+
   | #mysql50#lost+found |
   | information_schema |
   | mysql               |
   | mysql_testdb        |
   | performance_schema |
   +---------------------+ # mysql_testdb 存在。说明它们的数据是同步的

############################################################################
####               停止所有的资源用crm配置资源                   ########
############################################################################
vm_test2:
   [root@vm_test2 ~]# service mysql stop
   Shutting down MySQL.. SUCCESS!
   [root@vm_test2 ~]# umount /data/mysql
   [root@vm_test2 ~]# service drbd stop
   Stopping all DRBD resources: .

vm_test1:
   [root@vm_test1 ~]# service drbd stop
   Stopping all DRBD resources: .
   # 注：vm_test1上的mysql服务在上面已经停止了

############################################################################
####                               用crm资源配置                   ########
############################################################################
关于crm的资源配置在一个节点上进行就可以了。这里我们选择vm_test1
1：禁用STONISH、忽略法定票数、设置资源粘性
   [root@vm_test1 rpm]# crm

   crm(live)# configure

   crm(live)configure# property stonith-enabled=false

   crm(live)configure# property no-quorum-policy=ignore

   crm(live)configure# rsc_defaults resource-stickiness=100

   crm(live)configure# show
   node vm_test1
   node vm_test2
   property cib-bootstrap-options: \
   dc-version=1.1.11-97629de \
   cluster-infrastructure="classic openais (with plugin)" \
   expected-quorum-votes=2 \
   stonith-enabled=false \
   no-quorum-policy=ignore
   rsc_defaults rsc-options: \
   resource-stickiness=100
   crm(live)configure# verify
   crm(live)configure# commit
2：添加brbd资源
   crm(live)configure# primitive mysql_drbd ocf:linbit:drbd params drbd_resource=mysql_data op start timeout=240 op stop timeout=100 op monitor role=Master interval=20 timeout=30 op monitor role=Slave interval=30 timeout=30

   crm(live)configure# master ms_mysql_drbd mysql_drbd meta master-max=1 master-node-max=1 clone-max=2 clone-node-max=1 notify=true

   crm(live)configure# verify

   crm(live)configure# commit

3：添加文件系统挂载资源
   crm(live)configure# primitive drbd_fs ocf:heartbeat:Filesystem params device=/dev/drbd0 directory=/data/mysql fstype=ext4 op monitor interval=30s timeout=40s op start timeout=60 op stop timeout=60 on-fail=restart

   crm(live)configure# verify

4 把文件系统资源和drbd资源绑定在一组，并且定义启动顺序(文件系统挂载在drbd之后)。#注意冒号后面的空格
   crm(live)configure# colocation drbd_with_mysqlfs inf: drbd_fs ms_mysql_drbd:Master

   crm(live)configure# order fs_after_ms_mysql_drbd mandatory: ms_mysql_drbd:promote drbd_fs:start

   crm(live)configure# verify

   crm(live)configure# commit
5: 添加mysql资源和文件系统资绑定在一起，并且在文件系统资源之后启动
   crm(live)configure# primitive mysqld lsb:mysql

   crm(live)configure# colocation mysql_with_fs inf: mysqld drbd_fs

    crm(live)configure# order mysqld_after_fs mandatory: drbd_fs mysqld

   crm(live)configure# verify

   crm(live)configure# commit
6：配置vip资源
   crm(live)configure# primitive mysql_ip ocf:heartbeat:IPaddr params ip=192.168.1.215 op monitor interval=30 timeout=20 on-fail=restart

   crm(live)configure# colocation mysql_ip_with_mysqld inf: mysql_ip mysqld

   crm(live)configure# order mysql_ip_after_mysqld Mandatory: mysqld mysql_ip

   crm(live)configure# verify

   crm(live)configure# commit
7: 查看运行状态
   [root@vm_test1 ~]# crm status
   Last updated: Wed Apr 22 22:36:49 2015
   Last change: Wed Apr 22 22:36:48 2015
   Stack: classic openais (with plugin)
   Current DC: vm_test2 - partition with quorum
   Version: 1.1.11-97629de
   2 Nodes configured, 2 expected votes
   5 Resources configured

   Online: [ vm_test1 vm_test2 ]

   Master/Slave Set: ms_mysql_drbd [mysql_drbd]
       Masters: [ vm_test2 ]
       Slaves: [ vm_test1 ]
   drbd_fs   (ocf::heartbeat:Filesystem):   Started vm_test2
   mysqld   (lsb:mysql):   Started vm_test2
   mysql_ip   (ocf::heartbeat:IPaddr):   Started vm_test2
8：把vm_test2 standby 再次查看运行状态
   [root@vm_test1 ~]# crm node standby vm_test2
   [root@vm_test1 ~]# crm status
   Last updated: Wed Apr 22 22:38:08 2015
   Last change: Wed Apr 22 22:37:59 2015
   Stack: classic openais (with plugin)
   Current DC: vm_test2 - partition with quorum
   Version: 1.1.11-97629de
   2 Nodes configured, 2 expected votes
   5 Resources configured

   Node vm_test2: standby
   Online: [ vm_test1 ]

   Master/Slave Set: ms_mysql_drbd [mysql_drbd]
       Masters: [ vm_test1 ]
       Stopped: [ vm_test2 ]
   drbd_fs   (ocf::heartbeat:Filesystem):   Started vm_test1
   mysqld   (lsb:mysql):   Started vm_test1
   mysql_ip   (ocf::heartbeat:IPaddr):   Started vm_test1

秒客网

corosync+pacemaker+drbd+mysql实现mysql高可用

相关文章