MySql读写分离,及数据库高可用负载均衡的实现

时间:2022-09-21 22:57:07

今天主要讲一下关于mysql读写分离rw-splitting的实现方式,以及简单的mysql高可用(HA)和负载均衡(LB)。我会提到读写分离的原理,实现方式和一些注意点。然后就是介绍一下官方提供的mysql-router工具,以及如何使用。

MySql读写分离,及数据库高可用负载均衡的实现

MySql读写分离,及数据库高可用负载均衡的实现

开班第二十八天:

今天的课程大纲:

  1. 关于golang(GO语言)的基本认识和配置

  2. mysql读写分离的原理和基本介绍

  3. 学习和安装使用kingshard实现读写分离

  4. mysql的高可用负载均衡机制

详细讲解:

  • 关于golang(GO语言)的基本认识和配置

go语言,是一个跨平台的语言,是现在非常流行的一种编程语言,学习go语言,有点类似学习python,基础很容易掌握,主要就是学习它的包,go语言就是以简洁强大著称的。不过我们为什么要学习go语言,因为后面讲到的读写分离实现工具kingshard就是在go语言的基础之上进行的,所以认识基本的语法也是有必要的。我们现在需要做的就是搭建一个golang的环境,语法的话有兴趣的朋友可以自己稍微学习一下,因为我并不教这个。我这里下载了一个golang的gz包,现在就可以进行配置环境了。

1.解压缩gz包到/usr/local/中,tar xvf go1.6.3.linux-amd64.tar.gz -C /usr/local

2.为了每次启动方便,我们把要设置环境变量和工作目录,把下面的内容添加到vim ~/.bashrc中,这样每次启动终端就会让环境变量生效。

MySql读写分离,及数据库高可用负载均衡的实现3.这样,我们的go环境已经安装好了,现在测试一下,重新开一个终端,执行下下面语句,这样就代表成功。

MySql读写分离,及数据库高可用负载均衡的实现

  • mysql读写分离的原理和基本介绍(段落有点长,但是我是用大白话解释的,很好理解)

什么是读写分离,说白了就是mysql服务器读的操作和写的操作是分开的,当然这个需要两台服务器,master负责写,slave负责读,当然我们可以使用多个slave,这样我们也实现了简单意义上的高可用和负载均衡,只不过这种调度算法只是简单的轮循。我们如何让master和slave这样进行工作呢,其实我们需要一个代理,简单来说就是一个客户端和mysql服务器之间的一个管家,当我们客户端需要操作查询数据库的时候,我们先把操作发给这个管家,然后管家通过识别,哦~原来你要进行select操作,那么我就把你这个请求发给master,又来一个原来你需要进行的是插入insert的操作,那么我就把你这个请求发给slave,当如果有多个slave的时候,我就通过slave的权重,轮循的发给每一个slave,这样我们就实现了读写分离操作,以及简单的负载均衡。

实现读写分离的工具有很多,我介绍几个,阿里巴巴的cobar,360的atlas,以及用golang写的kingshard,在很早之前,mysql官方提供了一个mysql-proxy,也是360的atlas的"爸爸",但是这个一直没有正式发布,在oracle收购sun公司之后,这个工具也彻底的消失了。最后一个就是mysql-router,它是mysql官方提供的,但是需要注意的是,这个工具不支持读写分离,它实现了失败转移和失败切换,而且这个工具有自己的ip和端口,实现了高可用。

  • 学习和安装使用kingshard实现读写分离

前面学习了golang,那我肯定是要讲kingshard了,首先说明几点,kingshard只支持一个master多个slave,不能同时存在两个master(当然你学习了后面的mysql-router,可以结合kingshard使用),这里我默认选择一个master和一个slave,kingshard的原理很简单,我们作为客户端要连接到kingshard,然后kingshard也要连接到master,这就要求有两组不同的用户密码,下面是初始要求:

1.master和slave实现主从双向复制。

2.golang环境配置好。

现在开始安装kingshard,github上有详细的安装方式,网址:https://github.com/flike/kingshard

MySql读写分离,及数据库高可用负载均衡的实现1.下载好了,然后开始编译
MySql读写分离,及数据库高可用负载均衡的实现2.编译make,然后修改配置文件vim etc/unshard.yaml,注意路径,是在当前目录中的。

主要修改的内容有一下几个:

<1>设置ip和监听的端口,我们的kingshard和客户端可以安装在一个机子上,也可以安装在不同的机子上,端口尽量不使用3306,防止被占用。ip是监听所有的ip,端口我设置为3307,用户密码我设置默认。

MySql读写分离,及数据库高可用负载均衡的实现<2>开启日志

MySql读写分离,及数据库高可用负载均衡的实现<3>配置节点,我们可以认为master和slave组成一个节点,节点名称为node1,在master上添加一个用户,这个用户密码是kingshard连接mysql用的。设置master和slave的ip端口,我这里用的是master为主机,slave为虚拟机,所以要注意同一网段。

MySql读写分离,及数据库高可用负载均衡的实现3.在master上创建一个用户kingshard,密码为123456,记住下面这个ip地址,是你在哪个机子上安装了kingshard就写哪个机子的ip。

MySql读写分离,及数据库高可用负载均衡的实现4.启动kingshard, ./bin/kingshard --config etc/unshard.yaml,--config指定了配置文件,这样就算启动成功了。

MySql读写分离,及数据库高可用负载均衡的实现5.客户端连接到kingshard,然后进行读写测试。

MySql读写分离,及数据库高可用负载均衡的实现读的测试(select),理论上说是slave(172.16.65.129)返回数据:成功,数据返回的ip是129,使用的命令是select * from toutiao;

MySql读写分离,及数据库高可用负载均衡的实现写的操作(insert),理论上说是master(172.16.65.1)返回数据:成功,数据返回的ip是1,使用的命令是insert into toutiao values(5,"toutiao5");

MySql读写分离,及数据库高可用负载均衡的实现

  • mysql的高可用负载均衡机制

其实我们的kingshard已经实现了基本的负载均衡了,但是我们现在的场景变化了,假设我们现在有两台服务器,互为主从,我们如何实现这两台服务器的高可用功能呢,意思就是其中一台服务器宕机,另一台还是能够继续提供服务。这里我们就应该使用mysql-router来实现了,它的作用跟kingshard有点类似,不过它有自己的ip地址,同时呢,官方建议客户端和mysql-router安装在一台服务器上,客户端通过连接mysql-router,然后mysql-router管理两台服务器,默认是从其中一台进行读写操作,但是如果默认的宕机了,另一台会继续提供服务。mysql-router有两种模式,read-write和read-only.

准备:

1.两台服务器,配置mysql主从双向复制

2.安装好mysql-router。使用模式为read-only。

mysql主从双向复制,前面的课程已经讲过了,我就不再演示,不懂的朋友可以去看看我之前的教程,然后就开始安装mysql-router,过程很简单,装包,改配置文件,启服务,监控,ok了。

1.安装mysql-router,官方有,直接下载,rpm的,安装方法我就不用说了吧。最基础了。

2.修改配置文件,vim /etc/mysqlrouter/mysqlrouter.ini,在末尾添加上这样几行,由于我mysql-router和master是一台机子,所以我监控mysql-router的端口设置成3307,防止冲突。另外为了使得后面测试过程中显示的日志多一点,我们可以把日志类型改成debug类型的。

MySql读写分离,及数据库高可用负载均衡的实现4.重启mysqlrouter服务,service mysqlrouter restart。

5.在其中一个master上创建一个用户可以连接mysql-router,这里我创建的用户是mysqlrouter,密码是mysqlrouter。

MySql读写分离,及数据库高可用负载均衡的实现6.使用mysqlrouter这个用户通过本地连接到mysql-router,然后进行测试。

MySql读写分离,及数据库高可用负载均衡的实现

日志显示登录的信息:可以很明显的看出来现在是ip地址为172.16.65.1的master正在提供服务

MySql读写分离,及数据库高可用负载均衡的实现现在模拟172.16.65.1这台服务器宕机,然后重新连接mysql-router,看看是那一台服务器提供服务。

MySql读写分离,及数据库高可用负载均衡的实现

宕机之后,现在提供服务的master变成了172.16.65.129了。MySql读写分离,及数据库高可用负载均衡的实现所有的都测试成功了,大家动手试一试吧!

总结:

今天主要讲了mysql读写分离的原理和实现,以及对mysql高可用负载均衡的初步认识和初步实现,大家赶紧动手试一试吧,成功之后确实还是挺开心的。