J9集团

Redis大Key分析和解决最佳实际

J9集团信息

刘彬

1.

概述

我们先假定有如下场景：某税务局一线运维收到客户反馈通知
，说系统查问某机构对申报信息极为缓慢
。因而开发人怨匾到一个出问题的机构A
，通过搜索日志系统找到系统操作Redis功夫比力久
，并且从日志系统搜到一些Redis 含询超时的异常
。最后我们定位到的原因如下：

在申报接口的时辰系统通过Redis做了一个级存
，纪录机构的申报信息
，Redis数据结构：key=机构、IDvalue=申报列表
，而Redis查问发现多了很多大key
，体此刻一个机构ID一天有上万甚至几十万的申报信息
。我们通常将此类问题称为Redis大Key问题
。

2.

Redis大Key根基概想及场景

所谓的大key问题是某个key对应的value比力大
，所以性质上是大value问题
，key往往是开发过程中能够自行设置
，能够节造大幼
，value往往不受法式节造跟业务场景有关系
，因而可能导致value较大
。

2.1根基概想

在Redis中
，大key指的是key对应的value值所占的内存空间比力大：

● value是string类型
，大幼建议节造在10kb以内
。

● valve是hash、list、set、zset等集中类型
，元素个数建议不要超过 5000（或者1万、几万）
。上述的界说并不绝对
，重要是凭据value的大幼和元索个数来确定
，业务也能够很据自己的场景确定标淮
。

2.2常见场景

大key的产生往往是业务方设计不合理
，没有预感vaule的动态增长问题
。

通常有几类此较经典的场录：

● 一向往value存放数据
，没有删除及过期机造
。

● 数据没有合理做吩飕
，将大key造成以一个个幼key
。

3.

Redis大Key带来的影响

● 客户端超时阻塞
。由于Redis单线程的个性
，操作大key的通常比力耗时
，也就意味着阻塞Redis可能性越大
，这样会造成容户瑞阻塞或者引起故障切换
，会出现各类Redis慢查问
。

● 内存空间不均匀
。集群模式在slot吩飕均匀情况下
，会出现数据和查问倾斜情况
，部门有大key的Redis节点占用在行多、QPS高
。

● 引发网络阻塞
。每次获取大key产生的网络流量按大
，若是一个key的大幼为1MB每秒接见量为1000
，那么行秒会产生1000MB的流量
。这对于通常千兆网卡的服务器说是苦难性的
。

● 阻塞工作线程
。执行大key删除时
，在低版本Redis中可能阻塞线程
。

4.

Redis大Key若何检测

● 改写Redis客户端
，在sdk中参与埋点
，实时上报数据给Redis大key 检测平台、监控诉警
。

● scan+debug object bigkey号令
，循环遍历Redis key序列化后的长度
。debug object bigkey可能会比力慢
，它存在阻塞Redis的可能
，建议在从节点执行该号令
，官方不推荐
。

● scan+memory usage
。该号令是在Redis 4.0+以来提供的
，能够循环遍历统计推算每个键值的字节数
。

● 通过python剧本迭代的scan key
。对每次scan的内容进行判断是否为大key
。

● Redis-cli --bigkeys
Ｄ芄徽业侥掣鯮edis 事俘5种数据类型（string、hash、list、set、zset）的最大key
。但若是Redis key 比力多
，执行该号令会比力慢
，建议在从节点执行该号令
。

● rdbtools开源工具包
。rdbtools是python写的一个第三方开源工具
，用来解析Redis快照文件
，Redis事俘上执行bgsave
，而后对dump出
；来的rdb文件进行分析
，找到其中的大key
。

例如：rdb dump.rdb -c memory --byes 10240 -f Redis.csv

从dump.rdb 快照文件统计 (bgsave)
，将所有＞10kb的key输出到一个csv文件
。

5.

Redis大Key若何删除

若是对这类大key直接使用del命今进行删除
，会导致长功夫阻塞
，甚至崩溃
，由于del号令在删除集中类型数据时
，功夫复杂度为O(M)
，M是集中中元素的个数
。Redis是单线程的
，单个号令执行功夫过长就会阻塞其他号令
，容易引起雪崩
，稳妥的建议如下：

自动删除大Key

一、分批次渐近删除

通常来说
，对于string数据类型使用del号令不会产生阻塞
。其它数据类型分批删除
，通过scan号令遍历大key
，每次获得少部门元素进行删除
，而后再获取和删除下一批元素．对Hash,Sorted Set, List. Set 别离处置、思路一样
，先对key改名进行逻辑删除
，使客户端无法使用原key
，而后使用批量幼步删除
。

● 删除大Hash

步骤：（1）key改名
，相当于逻辑裳池齥ey
，任何Redis号令都接见不了该key
。（2）幼步多批次删除
。

伪代码：

● 删除大List

伪代码：

● 删除大Set

伪代码：

● 删除大Sorted Set

伪代码：

二、选取unlink+bigkey异步非阻塞删除
，这个号令是在Redis 4.0+提供的包办del号令
，不会阻塞主线程
。

被动删除大Key

被动删除是指利用Redis自身的key解除战术
，配置lazyfree情性删除
。但是参数默认是关关的
？膳渲萌缦虏问簦

6.

Redis大Key若何设计与优化

重要针对以下两种经典场景进行优化：

单个key 存储的 value 很大（超过 10kb)

1）从业务角度评估
，value中只存储有效的字段
，尽量去掉无用的字段
。

2）能够考点在利用层先对value进行压缩
，好比选取LZ4/Snappy之类的压缩算法
，共同Redis客户端序列化配置
，能够无侵入实现value的压缩
。.

3）value设计的时辰越幼越好
，关联的数据分分歧的key进行存儲
。

4）大key分拆成几个key-value
，使用multiGet获取值
，这样分拆的意思在于分拆单次操作的压力．将操作压力拼摊到多个Redis事俘中
，降低对单个Redis的IO影响
。

5）对Redis集群进行扩容
。

集中数据类型hash. list, set. sorted set等存储过多的元素（超过5000个）

类似于场景一中的第一个做法
，能够将这些元素分拆：

以hash为例
，原先的正常存取流程是hget(hashKey,field) ;hset(hashkey,field,value)此刻
，我们能够分拆构建一个新的 newHashkey
，具体做法：固定一个桶的数量
，好比10000每次存取的时辰
，先在本地推算field的hash值
，取模10000
，确定了该field落在哪个newHashkey上
。

set、sorted、list也能够选取类似做法
。