一种高效、可自动扩容、缓存、永久存储通用方案设计

时间:2023-01-13 20:17:21

离线消息存储方案

1 系统框架设计

1.1 名词解释:

名词

解释

备注

OffServer集群

离线消息服务器集群


Redis

一个redis实例

用于存储一些关键信息

MysqlKeyHashServer(MKHS)

代理整个MySql存储服务器集群

OfflineServer向MKHS发送“增加一条离线消息请求”,MKHS根据“会话ID”,将其固定hash到一台mysql服务器上。

NotifyServer(NS)

通知服务器,通知各种事件

当由于存储容量/存储速度不够时,我们增加mysql实例后,需要修改我们的hash策略,并通过NS服务器通知到所有的MKHS和MDS;以及数据迁移完成后,再次通知所有MKHS。

MoveDataServer(MDS)

数据迁移服务器

当由于存储容量/速度不够时,我们添加了mysql实例,一旦接收到MKHS的hash策略变更消息,则开始自动迁移数据,完成迁移后通知NS。

Mysql集群

某一个Mysql实例


1.2 组件图

一种高效、可自动扩容、缓存、永久存储通用方案设计 


1.3 mysql数据库设计

1.3.1 表定义

1.3.2 表管理

每一个mysql,根据将会话ID离散成500(可进行自定义)张表进行存储。

2 序列设计

2.1 存储离线消息

一种高效、可自动扩容、缓存、永久存储通用方案设计 


2.2 读取离线消息

 一种高效、可自动扩容、缓存、永久存储通用方案设计


2.3 添加mysql实例

2.3.1 第一步骤同步新Hash算法

一种高效、可自动扩容、缓存、永久存储通用方案设计



2.3.2 第二步骤数据迁移

一种高效、可自动扩容、缓存、永久存储通用方案设计


1 重要算法

1.1 MysqlKeyHash算法描述

Topic总量在每遇到一个分支后,将离散出50%,并继续离散,直到叶节点为止。

1.2 情形1

一种高效、可自动扩容、缓存、永久存储通用方案设计 

此时mysql1上保存着百分之百的Topic消息。

数学描述:

[1]


1.3 情形2

一种高效、可自动扩容、缓存、永久存储通用方案设计 

“Mysql实例1”此时上保存着50%的Topic消息;

“Mysql实例2”此时上保存着50%的Topic消息;

数学描述:

[1][1,2]

[2]


1.4 情形3

一种高效、可自动扩容、缓存、永久存储通用方案设计 

“Mysql实例1”此时上保存着50%的Topic消息;

“Mysql实例2”此时上保存着25%的Topic消息;

“Mysql实例3”此时上保存着25%的Topic消息;

数学描述:

[1][1,2]

[2][2,3]

[3]