Redis高级篇之bigKey理论介绍以及优化
文章目录
- 0 前言
- 1.MoreKey案例
- 2.BigKey案例
- 2.1多大算BigKey
- 2.1.1 string和二级结构
- 2.2 Bigkey危害、产生与发现
- 2.2.1 bigkey的危害
- 2.2.2 如何产生
- 2.2.3 如何发现
- 2.2.4 大key如何删除
- 3.BigKey生产调优
- 3.1 redis.conf配置文件 LAZY FREEING相关说明
- 结语
0 前言
bigKey是面试经常问到的问题,而且在实际工作中也会经常出现big问题亟待解决。所以本文将详细描述bigkey的优化过程,以及系统学习redis big可以优化的详细教程。在大厂面试中经常遇到的面试题,本文总结如下:
1. 阿里广告平台,海量数据里查询某一个固定前缀的key。
2.小红书,你如何生产上限制 keys* /flushdb/flushall等危险命令以防止阻塞或误删数据?
3.美团,memory usage命令你用过吗?
4.BigKey问题,多大算big?你如何发现?如何删除?如何处理?
5.BigKey你做过调优吗?惰性释放lazyfree了解过吗?
6.morekey问题,生产上redis数据库有1000W记录,你如何遍历数据? keys *可以吗?
1.MoreKey案例
1.大批量往redis里面插入2000W测试数据key。
Linux Bash下面执行,插入100W数据。 生成100W条redis批量设置kv的语句(key=kn,value=vn)写入到/tmp目录下的redisTest.txt文件中。
for((i=1;i<=100*10000;i++)); do echo “set ksi v$i” >> /tmp/redisTest.txt ;done;
通过redis提供的管道-pipe命令插入100W大批量数据。
cat /tmp/redisTest.txt | /opt/redis-7.0.0/src/redis-cli -h 127.0.0.1 -p 6379-a 111111 --pipe
2.某快递巨头真实生产案例新闻
keys * 这个指令有致命的弊端,在实际环境中最好不要使用。
这个指令没有offset、limit 参数,是要一次性吐出所有满足条件的key,由于redis,是单线程的,其所有操作都是原子的,而keys算法是遍历算法,复杂度是O(n),如果实例中有千万级以上的 key,这个指令就会导致Redis服务卡顿,所有读写Redis 的其它的指令都会被延后甚至会超时报错,可能会引起缓存雪崩甚至数据库宕机。
生产上限制 keys * /flushdb/flushall等危险命令以防止误删误用?通过配置设置禁用这些命令,redis.conf在SECURITY这一项中。
不用keys *避免卡顿,那该用什么呢?
;Scan命令登场
SCAN cursor [MATCH pattern] [COUNT count] [TYPE type]
2.BigKey案例
2.1多大算BigKey
通常我们说的BigKey,不是在值的Key很大,而是指的Key对应的value很大。具体可以参考阿里开发手册《阿里云Redis开发规范》。
2.1.1 string和二级结构
1.string是value,最大512MB但是≥10KB就是bigkey。
2.list、hash、set和zset,value个数超过5000就是bigkey。
list:一个列表最多可以包含2^32-1个元素(4294967295,每个列表超过40亿个元素)。
hash:Redis中每个hash可以存储2^32-1个键值对(40多亿)。
set:集合中最大的成员数为2^32-1(4294967295,每个集合可存储40多亿个成员.。
2.2 Bigkey危害、产生与发现
2.2.1 bigkey的危害
主要有危害有如下三点:
1.内存不均,集群迁移困难。
2.超时删除,大key删除作梗。
3.网络流量阻塞。
2.2.2 如何产生
- 社交类
明星粉丝列表,典型案例粉丝逐步递增 - 汇总统计
某个报表,日月年
2.2.3 如何发现
- redis-cli --bigkey
好处
见最下面总结 给出每种数据结构Top 1 bigkey。同时给出每种数据类型的键值个数+平均大小
不足
想查询大于10kb的所有key,–bigkeys参数就无能为力了,需要用到memory usage来计算每个键值的字节数
redis-cli --bigkeys -a 111111 redis-cli -h 127.0.0.1 -p 6379 -a 111111 --bigkeys
加上 -i 参数,每隔100 条 scan指令就会休眠0.1s.ops就不会剧烈抬升,但是扫描的时间会变长 redis-cli -h
127.0.0.1 -p 7001 --bigkeys -i 0.1
- memory usage 键
英文官网:点击此处
中文官网:点击此处
计算每个键值的字节数
2.2.4 大key如何删除
如何删除big请参考《阿里巴巴开发手册》。具体如下:
1.String
一般用del,如果过于庞大使用unlink key删除。
2.hash
使用hscan每次获取少量field-value,再使用hdel删除每个field。
- 基本命令
HSCAN key cursor [MATCH pattern] [COUNT count]
- 阿里手册
𔀡.list - 使用ltrim渐进式逐步删除,直到全部删除
- 命令
Redis Ltrim 对一个列表进行修剪(trim),就是说,让列表只保留指定区间内的元素,不在指定区间之内的元素都将被剧除,下标0表示列表的第一个元素,以1表示列表的第二个元素,以此类推。 你也可以使用负数术标,以-1表示列表的最后一个元素,-2 表示列表的倒数第二个元素,以此类推。
语法
redis 127.0.0.1:6379> LTRIM KEY NAME START STOF
-
阿里手册
4.set
使用sscan每次获取部分元素,在使用srem命令删除每个元素。 -
命令
-
阿里巴巴手册
5.zset
使用zscan每次获取部分元素,在使用zremrangebyrank命令删除每个元素.
- 命令
- 阿里巴巴手册
3.BigKey生产调优
3.1 redis.conf配置文件 LAZY FREEING相关说明
- 阻塞和非阻塞命令
- 优化配置
结语
Bigkey到此已经告一段落了,这部分对我们在开发中使用到Redis避免Bigkey的出现,以及出现了以后如何进行调优有很大的帮助,与此同时,在日常的面试中,如果遇到优化问题完全可以说你做过Redis调优,而不仅仅是JVM调优。这块也算忙完了!!!