文件名称:hbasedatacompare:并发scan hbase,redis 的工具类
文件大小:122KB
文件格式:ZIP
更新时间:2024-06-03 03:46:44
hbase-client Java
Concurrent scanning of data sources 工具介绍 这是一个并发扫描数据源(hbase,redis)的工具,多线程scan提高效率,但会对机器以及集群造成一定压力。 代码说明 1.concurrentRedisScan:多线程scan redis(每个线程scan一个redis的slave)获取所有的key,只适用于redis3.0以上cluster模式 redis客户端需要提供获取所有slave节点id,已经在指定节点上scan key的api(lib目录下有我们使用的自己封装的nedis jar包)。 如果key的数目很多需要在程序启动的时候指定合适的jvm内存大小防止内存溢出。 scan redis key不属于cpu密集型操作,线程池大小可以设置大一些(cpu核数的两倍)。 2.hbased
【文件预览】:
hbasedatacompare-master
----pom.xml(4KB)
----src()
--------test()
--------main()
----.gitignore(299B)
----README.md(1KB)