1. 预先准备有效数据单号池，通过单号拉取数据处理
单号表默认为1
01 使用findAndModify 更新单号表状态为 2 读取单号 循环读取100 条
02 通过运单号批量查询 Aladin_WayBillStatus 表 获取数据
03 拼接 新增 SQL语句
04 批量提交给 Hbase
05 批量更新 单号表 状态 为 3
方式优点
简单粗暴，开发简单 不超过200行代码，应为findAndModify 的原子性可以部署N个节点。
方式缺点
执行效率不高，并且提升优化空间几乎没有，使用多线程获取单号反而会更加耗时。
执行效率得看获取数据的表的承受能力。
对现有数据库照成压力
2.预支时间段表，通过时间段刷数据。
01 使用findAndModify 随机获取一个时段
02 通过时间段拉取一批数据
03 拼接 新增 SQL语句
04 批量提交给 Hbase
05 批量更新 时间段表 状态 为 3
方式优点
效率会比方式01 提高不少。
由于findAndModify 可以多节点部署。
方式缺点
每次时间段获取的数据量都是不可控的，业务高峰期时间段数据量可能非常大，业务低峰期数据量非常小，时间段生成规则会非常麻烦
对现有数据库照成压力
3.通过mongodb查询游标扫描数据。
find查询默认是从最旧数据开始。
_id 可以使用 $gt 查询 _id是有序的。
public void test_2(ObjectId o) {
DBCursor s;
if (o == null) {
s = mt.getCollection("orderid").find();
} else {
DBObject lisi = new BasicDBObject();
lisi.put("_id", new BasicDBObject("$gt", o));
s = mt.getCollection("orderid").find(lisi);
}
try {
while (s.hasNext()) {
DBObject item = s.next();
o = (ObjectId) item.get("_id");
String me = ((BasicDBObject) item).toJson();
mq.send(new Message("mgtomq", me.getBytes(RemotingHelper.DEFAULT_CHARSET)));
System.out.println(o);
}
} catch (Exception e) {
test_2(o);
}
}
方式优点：
不会对数据库照成太大压力。
读取的数据也是从老到新的数据。
方式缺点：
无法部署多个节点，获取数据和处理数据一起处理效率不高。
解决方式： 通过消息中间件解耦，读取数据，生产消息，处理数据设置每次100条消费消息。
这种读取数据方式也是 datex 使用的，处理方式不通，但是想法差不多。
如果不需要对数据进行处理，可以直接使用 datex