抛砖系列之redis监控命令

前言

redis是一款非常流行的kv数据库，以高性能著称，其高吞吐、低延迟等特性让广大开发者趋之若鹜，每每看到别人发出的redis故障报告都让我产生一种居安思危，以史为鉴的危机感，恰逢今年十一西安烟雨不断，抽时间学习了几个redis监控命令，和大家分享一波。

redis-cli --stat【连续统计】

连续统计可能是实时监控 Redis 实例的鲜为人知但非常有用的功能之一，要启用此功能，请使用redis-cli --stat。

redis-cli --stat 默认每秒输出一条新行，其中包含有用信息和每个采集点的请求次数差异。使用此命令可以轻松了解内存使用情况、客户端连接计数以及有关已连接 Redis 数据库的各种其他统计信息。

可以使用-i修改采样频率，默认值为1秒，如下面这个命令代表每2s采集一次数据：

redis-cli --stat -i 2
------- data ------ --------------------- load -------------------- - child -
keys       mem      clients blocked requests            connections          
8890       131.89M  47      0       1705992846 (+0)     2595        
8890       131.93M  47      0       1705992897 (+51)    2595        
8890       131.93M  47      0       1705992954 (+57)    2595        
8890       131.97M  47      0       1705992991 (+37)    2595        
8890       131.89M  47      0       1705993043 (+52)    2595        
8890       131.97M  47      0       1705993088 (+45)    2595        
8890       132.01M  47      0       1705993122 (+34)    2595        
8890       132.01M  47      0       1705993168 (+46)    2595        
8890       132.01M  47      0       1705993194 (+26)    2595        
8890       131.93M  47      0       1705993267 (+73)    2595

redis-cli --bigkeys【统计大key】

这个命令用作键空间分析器，它扫描数据集中的大键，但也提供有关数据集所包含的数据类型的信息。

# redis-cli --bigkeys

# Scanning the entire keyspace to find biggest keys as well as
# average sizes per key type.  You can use -i 0.1 to sleep 0.1 sec
# per 100 SCAN commands (not usually needed).

[00.00%] Biggest hash   found so far '"hash_big"' with 6 fields
[00.00%] Biggest set    found so far '"set_big"' with 6 members
[00.00%] Biggest string found so far '"string_big"' with 979 bytes
[00.00%] Biggest string found so far '"string_big_2"' with 1365 bytes

-------- summary -------

Sampled 5 keys in the keyspace!
Total key length in bytes is 38 (avg len 7.60)

Biggest   hash found '"hash_big"' has 6 fields
Biggest string found '"string_big_2"' has 1365 bytes
Biggest    set found '"set_big"' has 6 members

0 lists with 0 items (00.00% of keys, avg size 0.00)
1 hashs with 6 fields (20.00% of keys, avg size 6.00)
3 strings with 2420 bytes (60.00% of keys, avg size 806.67)
0 streams with 0 entries (00.00% of keys, avg size 0.00)
1 sets with 6 members (20.00% of keys, avg size 6.00)
0 zsets with 0 members (00.00% of keys, avg size 0.00)

在输出的第一部分中，将报告遇到的每个大于前一个较大key（相同类型）的新key。摘要部分提供有关 Redis 实例内数据的一般统计信息。

该程序使用 SCAN 命令，因此它可以在繁忙的服务器上执行而不会影响操作，当然也可以使用-i选项来限制每个 SCAN 命令的指定秒数部分的扫描过程。

例如，redis-cli --bigkeys -i 1 代表每次SCAN执行之后sleep 1s。

可以看到--bigkeys给出了每种数据结构的top 1 bigkey，同时给出了每种数据类型的键值个数以及平均大小。　

redis-cli monitor【监控命令执行】

与“发布/订阅”模式类似，使用 MONITOR 命令后，将自动进入监视模式， Redis 实例接收的所有命令都将打印到标准输出中：

redis-cli monitor
1665128881.578949 [0 127.0.0.1:46046] "COMMAND" "DOCS"
1665128885.870333 [0 127.0.0.1:46046] "get" "a"
1665128891.200705 [0 127.0.0.1:46046] "set" "a" "asdfasdfasd" "asdfasdf"
1665128897.234390 [0 127.0.0.1:46046] "sadd" "test" "aaa"
1665128902.439247 [0 127.0.0.1:46046] "smembers" "test"
1665128906.257225 [0 127.0.0.1:46046] "smembers" "test"
1665128910.073980 [0 127.0.0.1:46046] "smembers" "test"
1665128914.688753 [0 127.0.0.1:46046] "hget" "all" "hello"
1665128918.006031 [0 127.0.0.1:46046] "hget" "all" "hello"

可以看到目前smembers和hget命令执行的比较频繁，可能是异常流量导致，需要引起我们的注意了。

更方便的是redis-cli monitor可以和管道配合使用，比如redis-cli monitor | grep goods_test_001

redis-cli monitor |grep goods_test_001
1665129150.063322 [0 127.0.0.1:46046] "get" "goods_test_001"
1665129150.935202 [0 127.0.0.1:46046] "get" "goods_test_001"
1665129151.486148 [0 127.0.0.1:46046] "get" "goods_test_001"
1665129152.012097 [0 127.0.0.1:46046] "get" "goods_test_001"
1665129152.550077 [0 127.0.0.1:46046] "get" "goods_test_001"
1665129153.059130 [0 127.0.0.1:46046] "get" "goods_test_001"
1665129153.595023 [0 127.0.0.1:46046] "get" "goods_test_001"
1665129154.166608 [0 127.0.0.1:46046] "get" "goods_test_001"
1665129154.687753 [0 127.0.0.1:46046] "get" "goods_test_001"
1665129155.204012 [0 127.0.0.1:46046] "get" "goods_test_001"

结合grep goods_test_001可以发现goods_test_001这个key当前有大量的读请求。　　

Pub/sub mode【发布订阅模式】

redis-cli可以用来发布/订阅消息，如果你的系统中使用了redis的发布订阅功能，可以使用redis-cli的这一特性来进行一些调试工作。

比如，使用redis-cli发布一条消息到mychannel

 redis-cli publish mychannel helloworld

同样的，使用redis-cli订阅mychannel发来的消息

redis-cli subscribe mychannel
Reading messages... (press Ctrl-C to quit)
1) "subscribe"
2) "mychannel"
3) (integer) 1
1) "message"
2) "mychannel"
3) "helloworld"

Monitoring the latency of Redis instances【监控延迟】

redis常用来构建延迟敏感的应用，延迟涉及多个环节，客户端到网络层之间，网络层到redis之间，redis自身处理等。

redis-cli提供了多种工具帮助我们发现延迟，涉及的指标有最小值、最大值、平均值、延迟分布情况等。

基本的延迟检查工具是redis-cli --latency。使用--latency，redis-cli 运行一个循环，以每秒100次的速度向redis发送PING命令，并测量收到回复的时间，统计信息在控制台中实时更新。

# redis-cli --latency
min: 0, max: 3, avg: 0.28 (536 samples)

统计数据以毫秒为单位，上面的测试一共发了536个PING命令，最小响应时间为0毫秒（0不代表没有延迟，只是说毫秒统计不到），最大为3毫秒，平均值为0.28毫秒。

有时我们更希望看到redis延迟变化的趋势，这时--latency-history就可以派上用场，它的工作机制和--latency相同，只是每15秒（默认）重新开启一个测试会话。

redis-cli --latency-history
min: 0, max: 7, avg: 0.25 (1432 samples) -- 15.00 seconds range
min: 0, max: 1, avg: 0.24 (1435 samples) -- 15.00 seconds range
min: 0, max: 15, avg: 0.27 (1429 samples) -- 15.01 seconds range
min: 0, max: 5, avg: 0.28 (1431 samples) -- 15.01 seconds range
min: 0, max: 5007, avg: 7.71 (839 samples) -- 15.01 seconds range
min: 1, max: 18, avg: 3.58 (1092 samples) -- 15.01 seconds range
min: 0, max: 13, avg: 3.56 (1093 samples) -- 15.01 seconds range
min: 1, max: 15, avg: 3.61 (1090 samples) -- 15.00 seconds range
min: 1, max: 17, avg: 3.60 (1091 samples) -- 15.01 seconds range
min: 0, max: 26, avg: 2.57 (1178 samples) -- 15.00 seconds range

可以看到，上面每隔15秒输出一组数据，在第5个15秒开始时耗时明显增加。

内部还实现了另一个非比寻常的延迟检测工具，它不检查 Redis 实例的延迟，而是检查运行的计算机的延迟，此延迟是内核计划程序、虚拟机管理程序（如果是虚拟化实例）等所固有的。

redis称之为内在延迟，因为它对程序员来说基本上是不透明的，如果 redis 实例具有高延迟，检查其他因素之外，还值得检查内核本身的延迟。

通过测量内在延迟，我们就知道这是基准，redis 无法超越内核，使用redis-cli --intrinsic-latency <持续时间>开启测试，持续时间5秒。

redis-cli --intrinsic-latency 5
Max latency so far: 1 microseconds.
Max latency so far: 16 microseconds.
Max latency so far: 70 microseconds.
Max latency so far: 109 microseconds.
Max latency so far: 145 microseconds.
Max latency so far: 205 microseconds.
Max latency so far: 283 microseconds.
Max latency so far: 363 microseconds.
Max latency so far: 2507 microseconds.
Max latency so far: 4541 microseconds.

100063828 total runs (avg latency: 0.0500 microseconds / 49.97 nanoseconds per run).
Worst run took 90878x longer than the average latency.
# redis-cli --intrinsic-latency 5
Max latency so far: 1 microseconds.
Max latency so far: 39 microseconds.
Max latency so far: 41 microseconds.
Max latency so far: 45 microseconds.
Max latency so far: 62 microseconds.
Max latency so far: 8839 microseconds.
Max latency so far: 9357 microseconds.
Max latency so far: 10310 microseconds.
Max latency so far: 10322 microseconds.
Max latency so far: 10573 microseconds.
Max latency so far: 10682 microseconds.
Max latency so far: 11177 microseconds.
Max latency so far: 11514 microseconds.

35539207 total runs (avg latency: 0.1407 microseconds / 140.69 nanoseconds per run).
Worst run took 81840x longer than the average latency.

注意：--intrinsic-latency只能在redis实例所在机器运行。

从上面的输出可以看到内核的最大延迟达到了11514微秒（115毫秒左右），也从侧面说明执行redis命令的最大延迟起码在115毫秒之上。

Replica mode【副本模式】

副本模式是一项高级功能，对 redis 开发人员调试操作非常有用，它可以监控到主节点在复制流中发送到其副本的内容，使用redis-cli --replica开启监控。

redis-cli --replica
sending REPLCONF capa eof
sending REPLCONF rdb-filter-only
SYNC with master, discarding bytes of bulk transfer until EOF marker...
SYNC done after 211 bytes. Logging commands from master.
sending REPLCONF ACK 0
"ping"
"SELECT","0"
"set","a","b"
"hset","hash","name","jack"

可以看到主节点上执行了set，hset等指令，命令行实时输出。

如果你正在开发一个跨机房同步的redis同步工具，当你的从节点未按预期收到指令时，就可以使用这一命令做一些调试和诊断，为了方便理解，我放一张老东家自研的redis跨机房同步工具流程图。

抛砖系列之redis监控命令

Performing an LRU simulation【模拟LRU访问】

redis 通常用作具有 LRU 逐出功能的缓存，键的数量和内存大小（通过maxmemory指定）将决定缓存的命中率，借助工具可以模拟命中率最终得到正确的maxmemory参数。

该工具使用80/20法则来执行 GET 、SET操作，意味着 20% 的key将在 80% 的次数内被请求，这符合一般缓存场景中的请求分布。

我们假设给redis分配的内存为10兆，内存驱逐策略为allkeys-lru，预期有100万个key，期望命中率是90%，测试一下看是否符合预期：

# 设置最大内存10兆
config set maxmemory 10MB
#  lru-test
redis-cli --lru-test 1000000
119250 Gets/sec | Hits: 43654 (36.61%) | Misses: 75596 (63.39%)
125250 Gets/sec | Hits: 46002 (36.73%) | Misses: 79248 (63.27%)
127500 Gets/sec | Hits: 46860 (36.75%) | Misses: 80640 (63.25%)
122500 Gets/sec | Hits: 45228 (36.92%) | Misses: 77272 (63.08%)
126750 Gets/sec | Hits: 46623 (36.78%) | Misses: 80127 (63.22%)
125250 Gets/sec | Hits: 46150 (36.85%) | Misses: 79100 (63.15%)
120000 Gets/sec | Hits: 43962 (36.63%) | Misses: 76038 (63.37%)
121000 Gets/sec | Hits: 44630 (36.88%) | Misses: 76370 (63.12%)
123250 Gets/sec | Hits: 45616 (37.01%) | Misses: 77634 (62.99%)

命中率明显不符合预期，36%离90%相差甚远，我们将maxmemory扩大一倍接着测试

# 设置最大内存20兆
config set maxmemory 20MB
#  lru-test
redis-cli --lru-test 1000000
134500 Gets/sec | Hits: 65181 (48.46%) | Misses: 69319 (51.54%)
133500 Gets/sec | Hits: 86515 (64.81%) | Misses: 46985 (35.19%)
133000 Gets/sec | Hits: 98930 (74.38%) | Misses: 34070 (25.62%)
123500 Gets/sec | Hits: 95223 (77.10%) | Misses: 28277 (22.90%)
122000 Gets/sec | Hits: 94237 (77.24%) | Misses: 27763 (22.76%)
122250 Gets/sec | Hits: 94430 (77.24%) | Misses: 27820 (22.76%)
122500 Gets/sec | Hits: 94564 (77.20%) | Misses: 27936 (22.80%)
124000 Gets/sec | Hits: 95517 (77.03%) | Misses: 28483 (22.97%)
125000 Gets/sec | Hits: 96723 (77.38%) | Misses: 28277 (22.62%)
129000 Gets/sec | Hits: 99839 (77.39%) | Misses: 29161 (22.61%)

内存增加一倍以后命中率达到了77%左右，继续调整maxmemory直到符合预期。

redis-cli --lru-test切记不要在生产环境使用，会给服务器带来较大压力；

秒客网

抛砖系列之redis监控命令

前言

redis-cli --stat【连续统计】

redis-cli --bigkeys【统计大key】

redis-cli monitor【监控命令执行】

Pub/sub mode【发布订阅模式】

Monitoring the latency of Redis instances【监控延迟】

Replica mode【副本模式】

Performing an LRU simulation【模拟LRU访问】

推荐阅读

相关文章