redis keys与scan命令的区别说明

时间:2021-11-24 02:20:56

redis keysscan的区别

 

redis的keys命令,通常在用来删除相关key时使用,但这个命令有一个弊端,在redis拥有数百万及以上的keys时,执行速度会比较慢,更致命的是,这个命令会阻塞redis多路复用的io主线程,如果这个线程阻塞,在此期间,其他发向redis服务端的命令,都会被阻塞,从而引发一系列级联反应,导致瞬间相应卡顿,从而引发超时等问题,所以应该在生产环境禁止用使用keys和类似的命令smembers,这种时间复杂度为o(n),且会阻塞主线程的命令,是非常危险的。

如果在生产环境上,我们有需要查找然后删除key的需求,我们应该使用scan命令,来替代key。scan也是o(n)复杂度,支持通配查找key的命令,不同keys的是它采用的是游标按批次迭代返回数据,可以不用阻塞主线程。

scan:渐进式遍历键

?
1
scan cursor [match pattern] [count count]

scan 参数提供了三个参数(6.0后增加了一个type参数,具体看官方文档),第一个是 cursor 整数值(hash桶的索引值),第二个是 key 的正则模式,第三个是一次遍历的key的数量(参考值,底层遍历的数量不一定),并不是符合条件的结果数量。

第一次遍历时,cursor 值为 0,然后将返回结果中第一个整数值作为下一次遍历的 cursor。

一直遍历到返回的 cursor 值为 0 时结束。

使用案例如下:

redis keys与scan命令的区别说明

从运行结果,我们可以看出几个问题:

虽然我们指定了扫描的count是10,但它实际扫描出来的数量不一定是10

scan他可能遍历出重复的key

这边解释一下,为什么扫描出来得数量不一定是10。这是因为match实际上相当于过滤器的作用,所以scan其实是先扫描10个元素出来,然后再根据pattern一过滤,那么剩下来的满足条件元素就可能没有10个了,甚至可能一个都没有。

此外呢,如果在scan的过程中有键的变化(增加、删除、修改),那么新增的键可能不会被遍历出来,即scan不能保证完整的遍历出所有的键,这是我们开发的时候需要考虑的。

关于更多的细节,比如为什么新增的键可能不能被遍历出来,等我后面更深入的学习了redis底层的数据结构在回来补充。

总之,对于redis的大数量操作,很难做到很精确。

redis keys与scan命令的区别说明

补充:redis模糊查询keys和scan的比较和用法

一、keys

 

1、语法

?
1
keys pattern

2、说明

redis中允许模糊查询的有3个通配符,分别是:*,?,[]

*:通配任意多个字符

?:通配单个字符

[]:通配括号内的某一个字符

3、操作

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
192.168.230.21:6379[2]> set hello 1
ok
192.168.230.21:6379[2]> set word 1
ok
192.168.230.21:6379[2]> set hellp 1
ok
192.168.230.21:6379[2]> set ahellog 1
ok
192.168.230.21:6379[2]> set hellog 1
ok
192.168.230.21:6379[2]> keys *
1) "hello"
2) "hellog"
3) "hellp"
4) "word"
5) "ahellog"
192.168.230.21:6379[2]> keys *hell*
1) "hello"
2) "hellog"
3) "hellp"
4) "ahellog"
192.168.230.21:6379[2]> keys hell*
1) "hello"
2) "hellog"
3) "hellp"
//知道前面的一些字母,忘记了最后一个字母
192.168.230.21:6379[2]> keys hell?
1) "hello"
2) "hellp"
//知道前面的一些字母,忘记了最后两个个字母
192.168.230.21:6379[2]> keys hell??
1) "hellog"
//知道前面四个字母,最后一个字母有可能是p t y 其中的一个
192.168.230.21:6379[2]> keys hell[pty]
1) "hellp"
192.168.230.21:6379[2]>

二、scan

 

1、语法

?
1
scan cursor [match pattern] [count count]

2、说明

scan 游标 match <给定模式相匹配的元素> count 每次迭代所返回的元素数量 ,scan 命令是增量的循环,每次调用只会返回一小部分的元素。scan会返回两个结果,一个是用于下次遍历的游标,一个是结果集;

scan 命令是一个基于游标的迭代器(cursor based iterator): scan 命令每次被调用之后, 都会向用户返回一个新的游标, 用户在下次迭代时需要使用这个新游标作为 scan 命令的游标参数, 以此来延续之前的迭代过程。

当 scan 命令的游标参数被设置为 0 时, 服务器将开始一次新的迭代, 而当服务器向用户返回值为 0 的游标时, 表示迭代已结束

3、操作

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
192.168.230.21:6379[2]> keys *
1) "hello"
2) "hellog"
3) "hellp"
4) "word"
5) "ahellog"
192.168.230.21:6379[2]> scan 0 match *ll* count 2
1) "5"
2) 1) "hellp"
 2) "hello"
192.168.230.21:6379[2]> scan 5 match *ll* count 2
1) "0"
2) 1) "hellog"
 2) "ahellog"
192.168.230.21:6379[2]>

三、性能对比

 

1、我们在获取redis里面的某个db里面的所有数据可以用 `keys `这样的指令来实现。但是存在一个问题就是这样做的话,在数据量很大的情况下效率是很不理想的;

2、keys模糊匹配,请大家在实际运用的时候忽略掉。因为keys会引发redis锁,并且增加redis的cpu占用,情况是很恶劣的;如果数据庞大的话可能需要几秒或更长,对于生产服务器上锁定几秒这绝对是灾难了;

3、新的命令scan出现,它可以帮助我们解决因为用keys遍历大数据量的数据库而导致服务器阻塞的情况,因为它每次都只便利一小部分数据,每次操作对应的时间复杂度是o(1);

以上为个人经验,希望能给大家一个参考,也希望大家多多支持服务器之家。如有错误或未考虑完全的地方,望不吝赐教。