记录一次StarRocks集群迁移的经历
新入职了一家公司,刚去做了两张报表后,接到一个任务,做StarRocks 集群迁移,背景是这样的就是以前是自建的SR,但是这个SR 是给线上业务用的,也就是说不是分析性业务,而是面向产品ToC 的,也了解了一下是因为单表数据量太大了,所以直接使用了SR,这多少有些让人哭笑不得了,现状是就目前这个SR 存在两个问题
- 版本太老了
- 没有人运维,出了问题搞不定,是线上业务,有问题不好交代
出于上面两个原因所以想迁移上云,好处就不用多说了,因为这个SR 集群是给线上业务用的,所以迁移过程中不能停服务,两边的数据要完全一致。
可用方案
调研了几个方案,也让云厂商的技术人员帮忙评估了一下
- 备份恢复的方案,这也是云厂商的技术人员给的建议
- 跨集群数据迁移工具,社区开源的,但是实践的比较少
- 手动导出导入
这些方案的好坏我就不用说了,我们选择了备份恢复的方案,因为速度够快,对业务集群的影响最小
方案一 备份恢复
但是遇到的问题是备份成功了,