基于Cassandra的日志和分布式小文件存储系统【1】

时间:2021-06-17 04:47:45

系统简述

Cassandra高性能写,而日志业务读取量少,不要求数据即可展现,查询量少,查询逻辑比较简单,适合用于cassandra存储.

而用cassandra做小型文件的分布式存储,则无需人工干预数据的迁移。

日志系统

    日志功能:

  1. 添加、修改、删除、查询四种基本数据操作的记录
  2. 自定义操作类型管理
  3. 日志数据查询、导出
  4. thrift对外服务接口

小文件存储系统

    存储功能:

  1. 文件多备份
  2. 文件存储
  3. 文件下载
  4. 文件管理列表

系统实现

数据库结构

1.操作类型表

序号 字段名 类型 备注
1 id string key
2 actionName string 操作类型名
3 code int 类型编码
4 createtime datetime 添加日期
5 modifytime datetime 修改日期

2.日志记录表

序号 字段名 类型 备注
1 id string key
2 actioncode int 操作类型编码
3 from string 来源
4 createtime datetime 添加日期
5 createby string 操作人
6 olddata string 旧数据
7 newdata string 新数据
8 message string 附加信息
9 templ string 信息模版

3.分布式文件表

序号 字段名 类型 备注
1 id string key
2 filename string 文件名
3 filecode string 文件id
4 filedata blob 文件数据
5 dfspath string dfs路径
6 createtime datetime 创建时间
7 filesuffix string 文件后缀
8 filetype string 文件类型