Linux-基础学习（五）-mariadb主从复制以及redis学习

时间：2021-03-02 14:51:56

开始今日份整理

1.mariadb的主从复制

主从复制大致图示：

Linux-基础学习（五）-mariadb主从复制以及redis学习

1.1 mysql基本命令复习

linux下的操作

1.启动mysql

systemctl start mariadb 

2.linux客户端连接自己

mysql -uroot -p -h 127.0.0.1

3.远程链接mysql服务端

mysql -uroot -p -h 192.168.11.37

4.修改mysql密码

MariaDB [(none)]> set password = PASSWORD('redhat123');

5.创建mysql用户

create user test1@'%' identified by 'xc666';

6.查询mysql库中的用户信息

use mysql;

select host,user,password from  user;

7.授权语句

给test1这个用户，授予创建数据库的权限

mysql使用grant命令对账户进行授权，grant命令常见格式如下

grant 权限 on 数据库.表名 to 账户@主机名            对特定数据库中的特定表授权

grant 权限 on 数据库.* to 账户@主机名            　　对特定数据库中的所有表给与授权

grant 权限1,权限2,权限3 on *.* to 账户@主机名   　　 对所有库中的所有表给与多个授权

grant all privileges on *.* to 账户@主机名   　　 对所有库和所有表授权所有权限

#授予test1创建的权限，对于所有的库表生效

grant create  on *.* to test1@"%"  identified by 'xc666';

#授予test1用户，只有创建mymysql数据库的权限

grant create  on mymysql.* to test1@"%"  identified by 'xc666';

#授予用户最大的权限，所有的权限

grant all privileges on *.* to username@'%' identified by 'password';

8.移除权限

MariaDB [(none)]> revoke all privileges on *.* from test1@"%" identified by 'xc666';

9.数据库的备份与恢复

#备份

mysqldump -u root -p --all-databases > /tmp/db.sql

#数据导入，方式有2种

source /tmp/db.sql;

第二种

mysql -uroot -p <  /tmp/db.sql 

第三种

navicat

第四种，如果你数据量特别大的话，使用第三方工具

xtrabackup

1.2 mysql的主从复制

MySQL数据库的主从复制方案，是其自带的功能，并且主从复制并不是复制磁盘上的数据库文件，而是通过binlog日志复制到需要同步的从服务器上。

MySQL数据库支持单向、双向、链式级联，等不同业务场景的复制。在复制的过程中，一台服务器充当主服务器（Master），接收来自用户的内容更新，而一个或多个其他的服务器充当从服务器（slave），接收来自Master上binlog文件的日志内容，解析出SQL，重新更新到Slave，使得主从服务器数据达到一致。

主从复制的逻辑有以下几种

一主一从，单向主从同步模式，只能在Master端写入数据

一主多从

Linux-基础学习（五）-mariadb主从复制以及redis学习

双主主复制逻辑架构，此架构可以在Master1或Master2进行数据写入，或者两端同事写入（特殊设置）

Linux-基础学习（五）-mariadb主从复制以及redis学习

在生产环境中，MySQL主从复制都是异步的复制方式，即不是严格的实时复制，但是给用户的体验都是实时的。
MySQL主从复制集群功能使得MySQL数据库支持大规模高并发读写成为可能，且有效的保护了服务器宕机的数据备份。

应用场景：

利用复制功能当Master服务器出现问题时，我们可以人工的切换到从服务器继续提供服务，此时服务器的数据和宕机时的数据几乎完全一致。

复制功能也可用作数据备份，但是如果人为的执行drop,delete等语句删除，那么从库的备份功能也就失效了.

主从机制实现原理

Linux-基础学习（五）-mariadb主从复制以及redis学习

主从复制原理七步曲

1. 主数据库写入数据之后， 会有data changes(数据变化)记录

2. 有变化记录之后，将增删改的一些sql语句记录到本地的Binary log(二进制日志)中

3. 从库会一直开启着一个线程

4. 通过线程去读取这个二进制日志的内容

5. 从库会将数据写入到自己的Relay log(中继日志)中

6. 从库会将中继日志中的操作转化为SQL thread(SQL语句)

7. 通过转化的SQL语句写入到自己的数据库, 两边的数据就一致了

1.3 mariadb主从复制实验

实验需求：准备两台数据库服务器

主服务器： 192.168.1.44

从服务器:  192.168.1.121

1.3.1 在主服务器上操作

（1）停止主服务器mariadb数据库服务

systemctl stop mariadb

（2）修改主服务器配置文件并重新启动数据库服务

Linux-基础学习（五）-mariadb主从复制以及redis学习

在mysqld中输入上图中俩句话

server -id=1

log-bin=qishi-login

（3）新建用于主从同步的用户tiger,允许登录的从库是'192.168.1.121'

create user 'xiaochun'@'%' identified by 'xc666';

（4）给从库账号授权,说明给tiger从库复制的权限，在192.168.1.121机器上复制

grant replication slave on *.* to 'xiaochun'@'%';

（5）检查主库创建的复制账号以及权限

select user,host from mysql.user;

show grants for xiaochun@'192.168.1.121';

（6）实现对主数据库锁表只读，防止数据写入，数据复制失败

flush table with read lock;

（7）检查主库的状态, 并记录下日志文件的名字，和位置

MariaDB [(none)]> show master status;

记录下主数据库的写入状态和日志文件的名字

Linux-基础学习（五）-mariadb主从复制以及redis学习

（8）锁表后，单独在打开一个SSH窗口，导出数据库的所有数据

注意，一定要单独再打开一个SSH窗口！！！！！

Linux-基础学习（五）-mariadb主从复制以及redis学习

Linux-基础学习（五）-mariadb主从复制以及redis学习

1.3.2 在从库上配置

（1）关闭数据库服务

systemctl stop mariadb

（2）在从库上配置数据库服务

在从库192.168.1.121 上打开/etc/my.cnf

Linux-基础学习（五）-mariadb主从复制以及redis学习

[mysqld]

server-id=3

read-only=true

（3）重启数据库

systemctl restart mariadb

（4）导入主库传过来的数据库文件，保持从库的数据与主库一致

mysql -u root -p

source /opt/masterdb.sql

（5）配置复制的参数，Slave从库连接Master主库的配置

###配置此处，需要根据之前主库的内容

mysql > change master to master_host='192.168.1.121',

master_user='test2',

master_password='password-0',

master_log_file='qishi-logbin.000002',

master_log_pos=365;

（6）启动从库的同步开关，测试主从复制的情况

start slave;

（7）查看复制状态

show slave status\G;
注意： 如果看到Slave_IO_Running和Slave_SQL_Running这两个参数都为yes, 说明主从同步配置成功，否则需要检查并重新配置

Linux-基础学习（五）-mariadb主从复制以及redis学习

（8）测试主从是否同步后，需要将主库的数据库解锁

需要知道的是这步是在主库中敲

unlock tables

在主库中新建数据库后，从库同样会将数据库同步过来

1.3.3 主从读写分离

上面同步后，此时主从同步就已经完成配置了，双方都登录xiaochun账号，在主库创建一个库，再看从库已经成功复制过来了，再到从库上面尝试创建库或写入数据，无法写入，因为从库设置了只读。

注：

注意此处还未配置从库的只读模式，只需在slave服务器上配置/etc/my.cnf，加上以下配置，并且在slave上创建普通用户，使用普通用户主从同步即可达到只读的效果

如果用root用户，无法达到readonly，这是一个坑，一定要加上read-only =true

[mysqld]

character-set-server=utf8

collation-server=utf8_general_ci

log-error=/var/log/mysqld.log

server-id=3

read-only=true

[client]

default-character-set=utf8

[mysql]

default-character-set=utf8

最后，提示请看图:

Linux-基础学习（五）-mariadb主从复制以及redis学习

2.redis基础学习

Linux-基础学习（五）-mariadb主从复制以及redis学习

Linux-基础学习（五）-mariadb主从复制以及redis学习

2.1 redis的编译安装

（1）下载redis源码

（2）解压缩

tar -zxf redis-4.0.10.tar.gz

（3）切换redis源码目录

cd redis-4.0.10

（4）编译源文件

make

（5）编译好后，src/目录下有编译好的redis指令

（6）make install 安装到指定目录，默认在/usr/local/bin

（7）在/opt下创建一个专门用来存放redis配置文件的目录

mkdir /opt/redis_conf

（8）进入/opt/redis_conf目录下

vim redis-6379.conf

写入以下配置

#####需要注意的是：后面的中文不可以复制进去！！！！

port 6379                         # 运行在6379的redis数据库实例

daemonize yes                     # 后台运行redis

pidfile /data/6379/redis.pid      # 存放redis pid的文件

loglevel notice                   # 日志等级

logfile "/data/6379/redis.log"    # 指定redis日志文件的生成目录

dir /data/6379                    # 指定redis数据文件夹的目录

protected-mode yes                # 安全模式

requirepass   haohaio             # 设置redis的密码

（9）启动redis服务

redis-server /opt/redis_conf/redis-6379.conf

2.2 yum安装redis

#前提得配置好阿里云yum源，epel源

#查看是否有redis包

yum list redis

#安装redis

yum install redis -y

#安装好，启动redis

systemctl start redis

2.3 使用redis客户端

使用redis客户端

# 执行客户端命令即可进入

./redis-cli

# 或指定参数

redis-cli  -p 6380  -a  zhuanqq

    -p  设置redis链接的端口

    -a  显示的填写密码

    --raw 使用原始格式

# 测试是否连接上redis

127.0.0.1:6379 > ping

返回pong代表连接上了

# 用set来设置key、value

127.0.0.1:6379 > set name "tiger"

OK

# get获取name的值

127.0.0.1:6379 > get name

"tiger"

2.4 redis数据结构

redis是一种高级的key：value存储系统，其中value支持五种数据类型

字符串（strings）

散列（hashes）

列表（lists）

集合（sets）

有序集合（sorted sets）

数据结构示例

2.4.1 strings类型

  • set  设置key
  • get   获取key
  • append  追加string
  • mset   设置多个键值对
  • mget   获取多个键值对
  • del  删除key
  • incr  递增+1
  • decr  递减-1
127.0.0.1:6379> set name 'tt'   #设置key

OK

127.0.0.1:6379> get name　　　　#获取value

"tt"

127.0.0.1:6379> set name 'tiger'　　#覆盖key

OK

127.0.0.1:6379> get name　　　　#获取value

"tiger"

127.0.0.1:6379> append name ' dsb' 　　#追加key的string

(integer) 10

127.0.0.1:6379> get name　　#获取value

"tiger dsb"

127.0.0.1:6379> mset user1 'alex' user2 'xiaopeiqi'　　　　#设置多个键值对

OK

127.0.0.1:6379> get user1　　　　#获取value

"alex"

127.0.0.1:6379> get user2　　　　#获取value

"xiaopeiqi"

127.0.0.1:6379> keys *　　　　　　#找到所有key

1) "user2"

2) "name"

3) "user1"

127.0.0.1:6379> mget user1 user2 name   #获取多个value

1) "alex"

2) "xiaopeiqi"

3) "tiger dsb"

127.0.0.1:6379> del name　　　　　　　　#删除key

(integer) 1

127.0.0.1:6379> get name　　　　　　　　#获取不存在的value，为nil

(nil)

127.0.0.1:6379> set num 10　　　　#string类型实际上不仅仅包括字符串类型，还包括整型，浮点型。redis可对整个字符串或字符串一部分进行操作，而对于整型/浮点型可进行自增、自减操作。

OK　　　　

127.0.0.1:6379> get num

"10"

127.0.0.1:6379> incr num　　　　#给num string 加一 INCR 命令将字符串值解析成整型，将其加一，最后将结果保存为新的字符串值，可以用作计数器

(integer) 11

127.0.0.1:6379> get num　　

"11"

127.0.0.1:6379> decr num　　　　　　#递减1

(integer) 10

127.0.0.1:6379> decr num　　　　#递减1

(integer) 9

127.0.0.1:6379> get num

"9"

2.4.2 list类型

  • lpush         从列表左边插
  • rpush         从列表右边插
  • lrange          获取一定长度的元素  lrange key  start stop
  • ltrim               截取一定长度列表
  • lpop                 删除最左边一个元素
  • rpop                     删除最右边一个元素
  • lpushx/rpushx                key存在则添加值，不存在不处理
lpush duilie 'alex' 'peiqi' 'ritian'  #新建一个duilie，从左边放入三个元素

llen duilie  #查看duilie长度

lrange duilie 0 -1  #查看duilie所有元素

rpush duilie 'tiger'   #从右边插入tiger

lpushx duilie2  'dsb'  #key存在则添加 dsb元素，key不存在则不作处理

ltrim duilie 0 2  #截取队列的值，从索引0取到2，删除其余的元素

lpop #删除左边的第一个

rpop #删除右边的第一个

2.4.3 sets集合类型

redis的集合，是一种无序的集合，集合中的元素没有先后顺序。

集合相关的操作也很丰富，如添加新元素、删除已有元素、取交集、取并集、取差集等。我们来看例子：

  • sadd/srem   添加/删除 元素
  • sismember   判断是否为set的一个元素
  • smembers    返回集合所有的成员
  • sdiff             返回一个集合和其他集合的差异
  • sinter           返回几个集合的交集
  • sunion          返回几个集合的并集
sadd zoo  wupeiqi yuanhao  #添加集合，有三个元素，不加引号就当做字符串处理

smembers zoo  #查看集合zoo成员

srem zoo  wupeiqi #删除zoo里面的alex

sismember zoo wupeiqi  #返回改是否是zoo的成员信息，不存在返回0，存在返回1

sadd zoo wupeiqi   #再把wupeiqi加入zoo

smembers zoo  #查看zoo成员

sadd zoo2 wupeiqi mjj #添加新集合zoo2

sdiff zoo zoo2 #找出集合zoo中有的，而zoo2中没有的元素

sdiff zoo2  zoo  #找出zoo2中有，而zoo没有的元素

sinter zoo zoo1   #找出zoo和zoo1的交集，都有的元素

sunion  zoo zoo1  #找出zoo和zoo1的并集，所有的不重复的元素

2.4.4 哈希数据结构

hashes即哈希。哈希是从redis-2.0.0版本之后才有的数据结构。

hashes存的是字符串和字符串值之间的映射，hash特别适合用于存储对象，比如一个用户要存储其全名、姓氏、年龄等等，就很适合使用哈希。

Redis 中每个 hash 可以存储 232 - 1 键值对（40多亿）。

  • hset 设置散列值
  • hget  获取散列值
  • hgetall获取在哈希表中指定 key 的所有字段和值
  • hmset  设置多对散列值
  • hmget  获取多对散列值
  • hsetnx   如果散列已经存在，则不设置（防止覆盖key）
  • hkeys     返回所有keys
  • hvals     返回所有values
  • hlen      返回散列包含域（field）的数量
  • hdel     删除散列指定的域（field）
  • hexists    判断是否存在
redis hash是一个string类型的field和value的映射表

语法  hset key field value  

hset news:1   title "first news title" #设置第一条新闻 news的id为1，添加数据title的值是"first news title"

hset news:1 content "news content"    #添加一个conntent内容

hget news:1 title   #获取news:1的标题

hget news:1  content  #获取news的内容

hmget news:1  title content   #获取多对news:1的 值

hmset news:2 title "second news title" content "second Contents2"   #设置第二条新闻news:2 多个field

hmget news:2 title  content #获取news:2的多个值

hkeys news:1   #获取新闻news:1的所有key

hvals news:1   #获取新闻news:1的所有值

hlen news:1    #获取新闻news:1的长度

hdel news:1 title   #删除新闻news:1的title

hlen news:1     #看下新闻news:1的长度

hexists news:1 title    #判断新闻1中是否有title，不存在返回0，存在返回1

2.5 python操作redis

2.5.1 启动redis

这里注意对配置文件修改

打开注释，不然py客户端连不上　　Linux-基础学习（五）-mariadb主从复制以及redis学习

守护模式不开就no　　Linux-基础学习（五）-mariadb主从复制以及redis学习

指定配置文件进行启动　　Linux-基础学习（五）-mariadb主从复制以及redis学习

然后准备设置redis验证密码（不然py连接报错）Linux-基础学习（五）-mariadb主从复制以及redis学习

退出，重新登录redis　　Linux-基础学习（五）-mariadb主从复制以及redis学习

2.5.2 python操作redis

#!/usr/bin/env python

# -*- coding:utf8 -*-

import redis

r = redis.Redis(host='192.168.11.122',password='',port=6379)

r.set('foo', 'Bar')

print (r.get('foo'))

2.5.3 线程池操作redis

'''

redis-py 使用connection pool 来管理对一个redis server的所有连接，避免每次建立，释放连接的开销

默认 每个redis实例都会维护一个自己的链接池,然后作为参数redis,这样就可以实现多个redis 实例共享一个连接池

'''

import redis

pool = redis.ConnectionPool(host='192.168.11.122',password='',port=6379)

r = redis.Redis(connection_pool=pool)

r.set('name','tiger')

print(r.get('name'))

a

相关文章