redis keys和scan的区别
redis的keys命令,通常在用来删除相关key时使用,但这个命令有一个弊端,在redis拥有数百万及以上的keys时,执行速度会比较慢,更致命的是,这个命令会阻塞redis多路复用的io主线程,如果这个线程阻塞,在此期间,其他发向redis服务端的命令,都会被阻塞,从而引发一系列级联反应,导致瞬间相应卡顿,从而引发超时等问题,所以应该在生产环境禁止用使用keys和类似的命令smembers,这种时间复杂度为o(n),且会阻塞主线程的命令,是非常危险的。
如果在生产环境上,我们有需要查找然后删除key的需求,我们应该使用scan命令,来替代key。scan也是o(n)复杂度,支持通配查找key的命令,不同keys的是它采用的是游标按批次迭代返回数据,可以不用阻塞主线程。
scan:渐进式遍历键
1
|
scan cursor [match pattern] [count count]
|
scan 参数提供了三个参数(6.0后增加了一个type参数,具体看官方文档),第一个是 cursor 整数值(hash桶的索引值),第二个是 key 的正则模式,第三个是一次遍历的key的数量(参考值,底层遍历的数量不一定),并不是符合条件的结果数量。
第一次遍历时,cursor 值为 0,然后将返回结果中第一个整数值作为下一次遍历的 cursor。
一直遍历到返回的 cursor 值为 0 时结束。
使用案例如下:
从运行结果,我们可以看出几个问题:
虽然我们指定了扫描的count是10,但它实际扫描出来的数量不一定是10
scan他可能遍历出重复的key
这边解释一下,为什么扫描出来得数量不一定是10。这是因为match实际上相当于过滤器的作用,所以scan其实是先扫描10个元素出来,然后再根据pattern一过滤,那么剩下来的满足条件元素就可能没有10个了,甚至可能一个都没有。
此外呢,如果在scan的过程中有键的变化(增加、删除、修改),那么新增的键可能不会被遍历出来,即scan不能保证完整的遍历出所有的键,这是我们开发的时候需要考虑的。
关于更多的细节,比如为什么新增的键可能不能被遍历出来,等我后面更深入的学习了redis底层的数据结构在回来补充。
总之,对于redis的大数量操作,很难做到很精确。
补充:redis模糊查询keys和scan的比较和用法
一、keys
1、语法
1
|
keys pattern
|
2、说明
redis中允许模糊查询的有3个通配符,分别是:*,?,[]
*:通配任意多个字符
?:通配单个字符
[]:通配括号内的某一个字符
3、操作
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
|
192.168 . 230.21 : 6379 [ 2 ]> set hello 1
ok
192.168 . 230.21 : 6379 [ 2 ]> set word 1
ok
192.168 . 230.21 : 6379 [ 2 ]> set hellp 1
ok
192.168 . 230.21 : 6379 [ 2 ]> set ahellog 1
ok
192.168 . 230.21 : 6379 [ 2 ]> set hellog 1
ok
192.168 . 230.21 : 6379 [ 2 ]> keys *
1 ) "hello"
2 ) "hellog"
3 ) "hellp"
4 ) "word"
5 ) "ahellog"
192.168 . 230.21 : 6379 [ 2 ]> keys *hell*
1 ) "hello"
2 ) "hellog"
3 ) "hellp"
4 ) "ahellog"
192.168 . 230.21 : 6379 [ 2 ]> keys hell*
1 ) "hello"
2 ) "hellog"
3 ) "hellp"
//知道前面的一些字母,忘记了最后一个字母
192.168 . 230.21 : 6379 [ 2 ]> keys hell?
1 ) "hello"
2 ) "hellp"
//知道前面的一些字母,忘记了最后两个个字母
192.168 . 230.21 : 6379 [ 2 ]> keys hell??
1 ) "hellog"
//知道前面四个字母,最后一个字母有可能是p t y 其中的一个
192.168 . 230.21 : 6379 [ 2 ]> keys hell[pty]
1 ) "hellp"
192.168 . 230.21 : 6379 [ 2 ]>
|
二、scan
1、语法
1
|
scan cursor [match pattern] [count count]
|
2、说明
scan 游标 match <给定模式相匹配的元素> count 每次迭代所返回的元素数量 ,scan 命令是增量的循环,每次调用只会返回一小部分的元素。scan会返回两个结果,一个是用于下次遍历的游标,一个是结果集;
scan 命令是一个基于游标的迭代器(cursor based iterator): scan 命令每次被调用之后, 都会向用户返回一个新的游标, 用户在下次迭代时需要使用这个新游标作为 scan 命令的游标参数, 以此来延续之前的迭代过程。
当 scan 命令的游标参数被设置为 0 时, 服务器将开始一次新的迭代, 而当服务器向用户返回值为 0 的游标时, 表示迭代已结束
3、操作
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
|
192.168 . 230.21 : 6379 [ 2 ]> keys *
1 ) "hello"
2 ) "hellog"
3 ) "hellp"
4 ) "word"
5 ) "ahellog"
192.168 . 230.21 : 6379 [ 2 ]> scan 0 match *ll* count 2
1 ) "5"
2 ) 1 ) "hellp"
2 ) "hello"
192.168 . 230.21 : 6379 [ 2 ]> scan 5 match *ll* count 2
1 ) "0"
2 ) 1 ) "hellog"
2 ) "ahellog"
192.168 . 230.21 : 6379 [ 2 ]>
|
三、性能对比
1、我们在获取redis里面的某个db里面的所有数据可以用 `keys `这样的指令来实现。但是存在一个问题就是这样做的话,在数据量很大的情况下效率是很不理想的;
2、keys模糊匹配,请大家在实际运用的时候忽略掉。因为keys会引发redis锁,并且增加redis的cpu占用,情况是很恶劣的;如果数据庞大的话可能需要几秒或更长,对于生产服务器上锁定几秒这绝对是灾难了;
3、新的命令scan出现,它可以帮助我们解决因为用keys遍历大数据量的数据库而导致服务器阻塞的情况,因为它每次都只便利一小部分数据,每次操作对应的时间复杂度是o(1);
以上为个人经验,希望能给大家一个参考,也希望大家多多支持服务器之家。如有错误或未考虑完全的地方,望不吝赐教。