【HBase 运维】不停服务迁移方案汇总

时间：2024-11-21 20:34:48

迁移对于运维来说，是家常便饭，不停服迁移是对DBA的考验，下面汇总了目前了解到迁移方案：

利用replication 和 snapshot 完成数据迁移, 业务自动切换

步骤:

  1. 建立两个集群的replication,主从(待迁移集群----> 新集群)
  2. 在新集群新建跟老集群一样的表, 并开始同步
  3. 暂停同步, 利用snapshot , 将老集群的表做一份快照, 例如表A
    

  1. 

    

    list_snapshots
    

    2. 

  2. 

    

         snapshot'A', 'A_snapshot'

    

    3. 

  3. 

    

         hbase  -snapshot A_snapshot -copy-to hdfs://新集群:8020/hbase -mappers
    

    4.

完成之后, 在新集群导入snaphsot

    

  1. 

    

    
disable ‘A'

    

    2. 

  2. 

    

          restore_snapshot ‘A_snapshot’
    

    3. 

  3. 

    

          enable ‘A'
    

    4.
  1. 继续同步, 完成迁移, 业务选时间迁移
利用bulkload

在老集群新建一个表, 切流量, 利用bulkload 补数据

基本思路就是首先拷贝并复制snapshot到目的集群，然后开启两个集群间的数据实时同步，最后，将创建snapshot到开启数据同步之间的数据通过MR任务拷贝。

以表test_table为例：

1、添加原集群到目标集群的replication关系，并在目标集群中建立与原集群相同的表；

2、通过snapshot把历史数据导入到从集群: 在原集群执行以下指令：

    

  1. 

    

    a、list_snapshots
    

    2. 

  2. 

    

    b、snapshot ‘test_table’, ‘test_table_snapshot'

    

    3. 

  3. 

    

    c、bin/hbase  -snapshot test_table_snapshot -copy-to hdfs://yourdestination:9100/hbase -mappers 16
    

    4. 

  4. 

    

    

    5.

在目标集群执行以下指令：

    

  1. 

    

    a、disable ‘test_table'

    

    2. 

  2. 

    

    b、restore_snapshot ‘test_table_snapshot’
    

    3. 

  3. 

    

    
c、enable 'test_table'

    

    4. 

  4. 

    

    

    5.

3、开启原表的replication 原集群执行：

alter ‘test_table’,{NAME=>’f’,REPLICATION_SCOP=>’1’}

4、通过Export工具把快照和开启replication之间的数据导入到从表; 在原集群执行以下指令：

bin/hbase  test_table hdfs://yourdestination:9100/import/test_table 1 1445961600000 1446048000000

1:指定了版本数，与线上一致 1445875200000 1445961600000：指定了起始时间戳 在目标集群执行以下指令：

bin/hbase  test_table hdfs://yourdestination:9100/import/test_table

注意事项： 1、路径hdfs://yourdestination:9100/，端口是hdfs对外服务的端口，在中配置，yourdestination是你目的集群中active namenode的主机名

相关文章