【MySQL】实现线上千万数据表添加字段操作以及缓存刷新

时间:2022-09-08 13:53:05

需求背景:

  由于业务需求,需要在线上用户表添加渠道字段,用于区分不同渠道注册的用户,目前该表有20+个字段,8个索引

  线上用户数据大概1500W左右,需要不停机增加数据库字段,同时需要刷新Redis缓存中的用户数据

  

发生的问题:

  问题1.添加字段可能会锁表,影响线上业务的操作;

  问题2.删除Redis缓存中的数据,数据量过大,无法直接精准的进行删除处理,可能的情况就是造成一边删除旧用户信息,一边生成新用户信息

解决方案:

  针对于问题一:

    由于MySQL5.6版本以后,提供了在执行DDL语句时,无锁添加字段 添加索引的机制,即ALGORITHM=inplace,LOCK=NONE

    最终添加字段的语句被优化成

ALTER TABLE `表名`
ADD COLUMN .......(此处省略),ALGORITHM=inplace,LOCK=NONE;

    线上执行共计花了250多秒,没有出现锁表的情况,不影响线上业务流程

  针对于问题二:

    缓存的清理涉及到数据量大的问题,这里采用了线上代码兼容的方式;

    【MySQL】实现线上千万数据表添加字段操作以及缓存刷新