一、介绍
传统架构的使用,一直被人们所诟病,因为MySQL的主从模式,天生的不能完全保证数据一致,很多大公司会花很大人力物力去解决这个问题,而效果却一般,可以说,只能是通过牺牲性能,来获得数据一致性,但也只是在降低数据不一致性的可能性而已。所以现在就急需一种新型架构,从根本上解决这样的问题,天生的摆脱掉主从复制模式这样的“美中不足”之处了。
Galera Cluster :集成了Galera插件的MySQL集群,是一种新型的,数据不共享的,高度冗余的高可用方案,多节点都可以作为主节点,节点是对等的,当有客户端要写入或者读取数据时,随便连接哪个实例都是一样的,读到的数据是相同的,写入某一个节点之后,集群自己会将新数据同步到其它节点上面,这种架构不共享任何数据,是一种高冗余架构。相比传统架构,Galera Cluster解决的最核心问题是,在三个实例(节点)之间,它们的关系是对等的,multi-master架构的,在多节点同时写入的时候,能够保证整个集群数据的一致性,完整性与正确性。
本博客的部署始于本人openstack中 mysql 多主集群部署的一个小功能。第一次接触,记录下自己的心路历程。排除了很多坑点,记录下应该注意到的细节。
二、环境介绍
1、系统:
CentOS Linux release 7.4.1708 (Core)
2、节点(3台):
openstack1:10.6.32.51
openstack2:10.6.32.52
openstack3:10.6.32.53
3、关闭 firewall 、selinux
4、设置时间同步:chrony
5、部署工具安装(可选):
# yum -y install bash-completion.noarch bash-completion-extras.noarch vim net-tools
6、查看和卸载 系统原有的 mariadb、mysql (必须卸载,否则后期会有问题):
# rpm -qa | grep maria
# rpm -qa | grep mysql
# yum remove mariiadb
# yum remove mysql
7、更新 epel 源
# yum -y install epel-release
三、mysql 5.7 Galera Cluster 部署
1、下载 集成 galera 的mysql rpm包(所有节点)
cd /usr/local/src wget http://releases.galeracluster.com/mysql-wsrep-5.7/centos/7/x86_64/mysql-wsrep-5.7-5.7.21-25.14.el7.x86_64.rpm wget http://releases.galeracluster.com/mysql-wsrep-5.7/centos/7/x86_64/mysql-wsrep-client-5.7-5.7.21-25.14.el7.x86_64.rpm wget http://releases.galeracluster.com/mysql-wsrep-5.7/centos/7/x86_64/mysql-wsrep-common-5.7-5.7.21-25.14.el7.x86_64.rpm wget http://releases.galeracluster.com/mysql-wsrep-5.7/centos/7/x86_64/mysql-wsrep-devel-5.7-5.7.21-25.14.el7.x86_64.rpm wget http://releases.galeracluster.com/mysql-wsrep-5.7/centos/7/x86_64/mysql-wsrep-libs-5.7-5.7.21-25.14.el7.x86_64.rpm wget http://releases.galeracluster.com/mysql-wsrep-5.7/centos/7/x86_64/mysql-wsrep-libs-compat-5.7-5.7.21-25.14.el7.x86_64.rpm wget http://releases.galeracluster.com/mysql-wsrep-5.7/centos/7/x86_64/mysql-wsrep-server-5.7-5.7.21-25.14.el7.x86_64.rpm wget http://releases.galeracluster.com/mysql-wsrep-5.7/centos/7/x86_64/mysql-wsrep-test-5.7-5.7.21-25.14.el7.x86_64.rpm
2、安装mysql、galera(所有节点)
# yum -y install ./mysql*.rpm
# yum -y install galera
3、数据库启动 (openstack1上操作)
# systemctl start mysqld
# systemctl enable mysqld
4、添加Galera Cluster 数据同步用户(openstack1上操作)
a、mysql 5.7 默认有密码,密码查看方式:
# more /var/log/mysqld.log | grep password
A temporary password is generated for root@localhost:kqi6>roGB.lF 默认随机密码
b、修改mysql root 密码及添加 数据同步用户galera:
# mysql -uroot -p kqi6>roGB.lF
# SET PASSWORD FOR 'root'@'localhost' = PASSWORD('newpass');
# GRANT ALL ON *.* TO 'galera'@'localhost' IDENTIFIED BY 'youpasswd'; (添加用户:galera,后期集群配置文件用到 )
c、停止数据库,开始配置同步集群文件。
# systemctl stop mysqld
5、配合集群文件(所有节点上操作)
# vim /etc/my.cnf
# For advice on how to change settings please see # http://dev.mysql.com/doc/refman/5.7/en/server-configuration-defaults.html [mysqld] # # Remove leading # and set to the amount of RAM for the most important data # cache in MySQL. Start at 70% of total RAM for dedicated server, else 10%. # innodb_buffer_pool_size = 128M # # Remove leading # to turn on a very important data integrity option: logging # changes to the binary log between backups. # log_bin # # Remove leading # to set options mainly useful for reporting servers. # The server defaults are faster for transactions and fast SELECTs. # Adjust sizes as needed, experiment to find the optimal values. # join_buffer_size = 128M # sort_buffer_size = 2M # read_rnd_buffer_size = 2M datadir=/var/lib/mysql socket=/var/lib/mysql/mysql.sock # Disabling symbolic-links is recommended to prevent assorted security risks symbolic-links=0 log-error=/var/log/mysqld.log pid-file=/var/run/mysqld/mysqld.pid log_timestamps = SYSTEM #设置数据库日志时间为系统时间
server-id=101 #集群节点ID,集群内唯一ID。 wsrep_cluster_name=openstack_cluster wsrep-provider=/usr/lib64/galera/libgalera_smm.so #查看实际安装路径 wsrep_node_name = openstack_db01 #集群节点名称 wsrep_cluster_address=gcomm://10.6.32.51,10.6.32.52,10.6.32.53 wsrep_node_address=10.6.32.51 wsrep_provider_options =gmcast.listen_addr=tcp://10.6.32.51:4567 wsrep_sst_donor=openstack_db01,openstack_db02,openstack_db03 wsrep_sst_method=xtrabackup-v2 #集群数据同步方式( xtrabackup-v2或rsync 都需要安装所匹配的插件) wsrep_sst_auth=galera:youpasswd # 之前添加的数据同步用户 slow_query_log=on max_allowed_packet = 1M table_open_cache = 4 sort_buffer_size = 64K read_buffer_size = 256K net_buffer_length = 2K read_buffer_size = 256K net_buffer_length = 2K thread_stack = 256K max_connections = 2000 #数据库最大连接数
#openstack2 不同之处:
# vim /etc/mycnf
server-id=102 wsrep_node_name = openstack_db02 wsrep_node_address=10.6.32.52 wsrep_provider_options =gmcast.listen_addr=tcp://10.6.32.52:4567
#openstack3 不同之处:
# vim /etc/mycnf
server-id=103 wsrep_node_name = openstack_db03 wsrep_node_address=10.6.32.53 wsrep_provider_options =gmcast.listen_addr=tcp://10.6.32.53:4567
6、安装数据同步插件,本博客使用的是: xtrabackup-v2(注意:xtrabackup 2.3的版本不支持,mysql 5.7 需要安装 xtrabackup 2.4)(所有节点上操作)
# yum install http://www.percona.com/downloads/percona-release/redhat/0.1-4/percona-release-0.1-4.noarch.rpm
# yum search xtrabackup
# yum -y install percona-xtrabackup-24.x86_64 (mysql 5.7 一定要安装 percona-xtrabackup-24.x86_64,否则后续的报错会让你怀疑人生。)
7、集群启动
a、当集群中还没有节点启动时,确认所有节点上没有mysql进程,如果有请关闭。(所有节点操作)
# ps -aux | grep mysql
# kill -9 mysql-id
b、启动集群中第一个节点。(openstack1 上操作)
# /usr/sbin/mysqld --wsrep-new-cluster --user=root & (当且仅当 集群中没有任何节点开启,启动第一个节点时使用)
c、启动其他节点,逐台启动,然后查看集群状态
# systemctl start mysqld (集群中有节点后就可以正常启动。openstack2 和openstack3 上依次启动,启动一台查看依次集群状态)
集群状态查看,数据库中查看:
mysql> show status like 'wsrep_%';
我们可以关注几个关键的参数:
wsrep_connected = on链接已开启
wsrep_local_index = 1在集群中的索引值
wsrep_cluster_size =3集群中节点的数量 (每启动一台,如果加入到集群中,size 会+1)
wsrep_incoming_addresses =10.6.32.51:3306,10.6.32.53:3306,10.6.32.52:3306集群中节点的访问地址
d、重新启动第一个节点的数据库(opoenstsck1上操作)
# kill -i mysq-id (因为第一次为非正常启动,需要使用kill 杀掉进程来关闭mysql)
# systemctl restart mysqld
(如果重启失败,请查看/var/lib/mysql/mysql.sock.lock 是否存在,如果存在,删除后重新启动。)
e、在各节点使用 数据同步用户galera登录,如果可以正常启动并登录成功。到此,Galera Cluster 已经成功部署。
四、测试
1、在openstck1 节点上创建测试数据库test,其他节点查看是否可以看到测试库。
mysql> create database test;
2、其他节点查看:
数据库实时自动同步,再次证明 Galera Cluster 集群部署成功。
3、附加,查看数据库最大连接数
mysql> show variables like '%max_connections%';
如期,已经修改为2000,数据库最大连接太小,后期openstack 会报错:数据库连接数太小。
谢谢~~~