关于大数据量的实时数据库表设计问题

时间:2021-01-06 11:31:25
当前我们的业务需求是,数据实时生成实时入库,数据量一天在200万左右,数据特点是:所有数据都是当天和未来的数据,而且数据日期越近数据越集中,当前表中数据量基本稳定在2500万左右,而且每天凌晨需要把历史数据导入历史表然后在当前表总删掉。请问各位大神,这样的表怎么设计比较好,需要分区吗?怎样分比较好,索引怎么建比较好。经常会有查询的需求查当前表的数据,谢谢

6 个解决方案

#1


自己先顶一下吧,csdn人太少了吗?我们之前是一天一个数据包,里面就未来三天的数据,现在改为实时的数据了,而且包括未来所有的数据,所以现在要重新设计库表结构,期望各位大侠给点意见

#2


来人啊,牛人都去哪了?

#3


反正每天都有,那就按天分呗 可以使用分区索引

#4


建议不要保存在一张表中,可以把按年进行建表,按月和日建立分区。

#5


引用 4 楼 zhaoxiangchong 的回复:
建议不要保存在一张表中,可以把按年进行建表,按月和日建立分区。


昨天大概统计了一下数据的分布情况,发现90%的数据集中在未来五个月里面,其中又60%的集中在未来一个月内,所以现在在考虑按月建分区有没有必要

#6


引用 3 楼 lu010610 的回复:
反正每天都有,那就按天分呗 可以使用分区索引


按天分现在不能确定的是未来的数据能到未来的哪一天,现在的数据中已经有2015年8月份的数据了,这样建分区会有很多空着的分区,还有很多数据很集中的分区

#1


自己先顶一下吧,csdn人太少了吗?我们之前是一天一个数据包,里面就未来三天的数据,现在改为实时的数据了,而且包括未来所有的数据,所以现在要重新设计库表结构,期望各位大侠给点意见

#2


来人啊,牛人都去哪了?

#3


反正每天都有,那就按天分呗 可以使用分区索引

#4


建议不要保存在一张表中,可以把按年进行建表,按月和日建立分区。

#5


引用 4 楼 zhaoxiangchong 的回复:
建议不要保存在一张表中,可以把按年进行建表,按月和日建立分区。


昨天大概统计了一下数据的分布情况,发现90%的数据集中在未来五个月里面,其中又60%的集中在未来一个月内,所以现在在考虑按月建分区有没有必要

#6


引用 3 楼 lu010610 的回复:
反正每天都有,那就按天分呗 可以使用分区索引


按天分现在不能确定的是未来的数据能到未来的哪一天,现在的数据中已经有2015年8月份的数据了,这样建分区会有很多空着的分区,还有很多数据很集中的分区