MySQL实现对大数据表按照时序抽取记录

需求描述

大表data_log，是一张保存了时间流水的记录表，记录数达到百万级。现需要抽取某天零时开始每隔5分钟（或30分钟、一小时等）抽取一条记录，以生成当日波动图。

思路

首先明确出标准时序点，然后根据时序点与流水表的时间戳关联，即可获取需要的记录。
若流水表在时序区间内有多条，还需要考虑分组汇总方式（本例取组内第1条）。

SQL实现

select S.STANDARD_TIME, ifnull(T.VALUE, 0) VALUE from ( SELECT DATE_ADD('2018-01-01 00:00:00',INTERVAL @i := @i + 5 MINUTE) AS STANDARD_TIME FROM (select 1 from data_log limit 288) as TMP, (SELECT @i := -5) t) S LEFT JOIN (select * from ( select @rownum := @rownum+1 rownum, str_to_date(a.opTimeStr,'%Y%m%d%H%i') rankOPTime, a.value, if ( @objno = a.opTimeStr or @objno is null, @rank:=@rank+1, @rank := 1) as row_nums, @objno := a.opTimeStr from (SELECT date_format(d.opTime, '%Y%m%d%H%i') opTimeStr, d.value, d.opTime from data_log d order by d.opTime asc) a, (select @rownum :=0, @objno:=null, @rank:=0) b) c where c.row_nums = 1) T on S.STANDARD_TIME = T.rankOPTime;

其中，S表为根据大表生成我们需要的标准时序；T表为交易流水表，按照时序分组并取组内第1条记录。S表Left Join关联T表，获得最终结果集合。