现状:每日在进行系统之间的订单对账时,往往是这样的操作流程;
1.从外部系统拉取数据存入本地数据库;
2.查询本地订单数据集合localSet;
3.查询外部系统订单数据集合outerSet;
4.以本地localSet为基准,对照outerSet,进行遍历,将数据不一致(金额、状态等),或者localSet存在而outerSet不存在的数据,放入新集合localDiffSet;
5.以外部outerSet为基准,对照localSet,进行遍历,将数据(金额、状态等)不一致,或者outerSet存在而localSet不存在的数据,放入新集合outerDiffSet;
6.将localDiffSet与outerDiffSet的数据,存入差异账表
问题:
当比对数据无限多,数据全部在JVM中比对,对服务器的影响就比较大,执行效率也低下;
——redis解决方案
步骤一:外部系统数据拉取入库
步骤二:从数据库查询需要比对的数据,本地数据(localSet),外部系统数据(outerSet)
//---查询订单信息,组成字符串
SELECT CONCAT(order_no,','outer_order_no,',',trans_amount,',',status) FROM `order_info` where create_time BETWEEN '2015-12-01 00:00:00' and '2015-12-31 23:59:59';
为什么组合成字符串,而不是object对象;因为我们届时要比对的信息就是上述字段,如果字符串一致,那么就说明订单信息一致,而不用再去一一比对对象的属性;
步骤三:将localSet与outerSet分别存入redis
//相关函数:redis.clients.jedis.JedisCluster.sadd(String key, String... member)
redisClusterUtils.sadd("{account}:localSet", "GM002215120800002,0.01,3","GM002215120800003,0.01,3");
redisClusterUtils.sadd("{account}:outerSet", "CZ001215120800010,0.01,3","CZ001215120800013,0.01,1");
注意点:这里的key,必须要用{}形式,来指定,使我们要比对的集合都处于同一slot,不然在稍后比对时会出现异常:
No way to dispatch this command to Redis Cluster because keys have different slots.
步骤四:进行2个集合的比对,得出交集union,将交集放入key”{account}:union”中
redisClusterUtils.sinterstore("{account}:union", "{account}:localSet", "{account}:outerSet");
步骤五:localSet和outerSet分别与交集进行比较,得出差集{account}:localDiff、{account}:outerDiff
redisClusterUtils.sdiffstore("{account}:localDiff", "{account}:localSet", "{account}:union");
redisClusterUtils.sdiffstore("{account}:outerDiff", "{account}:localSet", "{account}:union");
步骤六:将差集的数据存入数据库差异账表
//--获取差集的每个成员
redisClusterUtils.smembers("{account}:localDiff");
redisClusterUtils.smembers("{account}:outerDiff");
关于redis集合(Set)操作的的相关命令,Redis集合命令相关资料
转载:https://blog.csdn.net/qq_33144861/article/details/79467888
redis实现对账(集合比较)功能的更多相关文章
-
【springboot】【redis】springboot结合redis,操作List集合实现时间轴功能
springboot结合redis,操作List集合实现时间轴功能
-
Redis中7种集合类型应用场景
StringsStrings 数据结构是简单的key-value类型,value其实不仅是String,也可以是数字.使用Strings类型,你可以完全实现目前 Memcached 的功能,并且效率更 ...
-
Redis中7种集合类型应用场景&;redis常用命令
Redis常用数据类型 Redis最为常用的数据类型主要有以下五种: String Hash List Set Sorted set 在具体描述这几种数据类型之前,我们先通过一张图了解下Redis内部 ...
-
redis中插入用户集合的语句,有四个属性
一.redis 数据结构使用场景 原来看过 redisbook 这本书,对 redis 的基本功能都已经熟悉了,从上周开始看 redis 的源码.目前目标是吃透 redis 的数据结构.我们都知道,在 ...
-
redis使用watch完成秒杀抢购功能
Redis使用watch完成秒杀抢购功能: 使用redis中两个key完成秒杀抢购功能,mywatchkey用于存储抢购数量和mywatchlist用户存储抢购列表. 它的优点如下: 1. 首先选用内 ...
-
redis使用watch完成秒杀抢购功能(转)
redis使用watch完成秒杀抢购功能: 使用redis中两个key完成秒杀抢购功能,mywatchkey用于存储抢购数量和mywatchlist用户存储抢购列表. 它的优点如下: 1. 首先选用内 ...
-
redis使用watch完成秒杀抢购功能:
redis使用watch完成秒杀抢购功能: 使用redis中两个key完成秒杀抢购功能,mywatchkey用于存储抢购数量和mywatchlist用户存储抢购列表. 它的优点如下: 1. 首先选用内 ...
-
Java基础知识强化之集合框架笔记51:Map集合之Map集合的功能概述与测试
1. Map集合的功能概述 (1)添加功能 V put(K key,V value):添加元素.这个其实还有另一个功能?先不告诉你,等会讲 如果键是第一次存储,就直接存储元素,返回null 如果键不是 ...
-
从Redis中删除大集合对象的方法
Redis中的大集合对象,如set.zset等,如果有上千万个元素,一般是不能直接用del命令来删除的,因为del命令可能会耗时几秒钟,而redis本身是单线程的,在高并发的情况下会阻塞大量的请求,严 ...
随机推荐
-
【水】基于ege的2048
不要问我ege怎么装 http://tieba.baidu.com/p/2227018541 好,现在我们装好了ege 开始写2048吧 没有算法,单纯模拟,不用讲解——这才叫[水]的含义 界面极度简 ...
-
javascript学习随笔(二)原型prototype
JavaScript三类方法: 1.类方法:2.对象方法:3.原型方法;注意三者异同 例: function People(name){ this.name=name; //对象方法 this.Int ...
-
选择或者放弃MySQL的理由
MySQL 作为一个开源数据库,自从被 Oracle 接管后,其发展前景就一直受到开发社区的关注,其中也有质疑,最近,两位开发者分别发表了选择和放弃MySQL 的理由,值得数据库相关人员参考. And ...
-
Windows版本搭建安装React Native环境配置及相关问题
此文档整理参考地址: http://www.lcode.org/%E5%8F%B2%E4%B8%8A%E6%9C%80%E8%AF%A6%E7%BB%86windows%E7%89%88%E6%9C% ...
-
dede调用指定栏目的标签
{dede:type typeid='1'} <a href="[field:typelink /]">[field:typename /]</a> {/d ...
-
shakes hands
Description On February, 30th n students came in the Center for Training Olympiad Programmers (CTOP) ...
-
Undefined symbols for architecture i386: ";_crc32";, referenced from:——crc链接错误
有时候用别人的框架,你会碰到下面的错误,很是吓人,什么玩意,我怎么看不懂!!! Undefined symbols for architecture i386: "_RELEASE&quo ...
-
浅谈javascript中的call与apply方法
call方法与apply方法都是为了改变函数体内部this的指向. call方法与apply方法,这二者的作用完全一样,只是接受参数的方式不太一样. apply()方法: Function.apply ...
-
nested exception is java.sql.SQLException: IO 错误
1.错误描述 (mx.messaging.messages::ErrorMessage)#0 body = (null) clientId = "18CE3B03-9709-9DA8-763 ...
-
UVA12186
给出一个树状关系图,公司里只有一个老板编号为0,其他人员从1开始编号.除了老板,每个人都有一个直接上司,没有下属的员工成为工人. 工人们想写一份加工资的请愿书,只有当不少于员工的所有下属的T%人递交请 ...