Redis（高阶篇）02章——BigKey
一、面试题
- 阿里广告平台，海量数据里查询某一个固定前缀的key
- 小红书，你如何生产上限制 keys* /flushdb/flushall等危险命令以防止阻塞或误删数据？
- 美团，memory usage命令你用过吗？
- BigKey问题，多大算big？你如何发现？如何删除？如何处理？
- BigKey你做过调优吗？惰性释放lazyfree了解过吗？
- morekey问题，生产上redis数据库有1000W记录，你如何遍历数据？ keys *可以吗？
二、MoreKey案例
（1）大批量往redis里面插入2000W测试数据key
2.1.1Linux Bash下面执行，插入100W数据
- 生成100W条redis批量设置kv的语句(key=kn,value=vn)写入到/tmp目录下的redisTest.txt文件中
-
for((i=1;i<=100*10000;i++)); do echo "set k$i v$i" >> /tmp/redisTest.txt ;done;
2.1.2通过redis提供的管道-pipe命令插入100W大批量数据
cat /tmp/redisTest.txt | redis-cli -h 127.0.0.1 -p 6379 -a 111111 --pipe（2）某快递巨头真实生产案例新闻
2.2.1新闻
2.2.2keys * 试试100W花费多少秒遍历查询
2.2.3生产上限制 keys * /flushdb/flushall等危险命令以防止误删误用？
- 输入keys */flushdb/flushall等命令时，同时按下Tab键会有提示
- 通过配置设置禁用这些命令，redis.conf在SECURITY这一项中
（3）不用keys *避免卡顿，那该用什么
2.3.1scan命令登场
- SCAN | Docs
- Redis SCAN 命令 递增地遍历key空间
- 一句话，类似MySQL limit，但是不完全相同
2.3.2Scan命令用于迭代数据库中的数据库键
- 语法：
- 特点：
- 使用：
三、BigKey案例
（1）多大算Big
通常我们说的BigKey，不是在值的Key很大，而是指的Key对应的value很大
3.1.1参考《阿里云Redis开发规范》
3.1.2string和二级结构
（1）string是value，最大512MB但是≥10KB就是bigkey
（2）list、hash、set和zset，value个数超过5000就是bigkey
（2）哪些危害
- 内存不均，集群迁移困难
- 超时删除，大key删除作梗
- 网络流量阻塞
（3）如何产生
（4）如何发现
3.4.1redis-cli --bigkey
3.4.2memory usage 键
- 英文官网：MEMORY USAGE | Docs
- 中文官网：MEMORY USAGE | Docs
- 计算每个键值的字节数
（5）如何删除
3.5.1参考《阿里云Redis开发规范》
3.5.2官网
- SCAN | Docs
- Redis SCAN 命令 递增地遍历key空间
3.5.3普通命令
（1）String
一般用del，如果过于庞大使用unlink key 删除
（2）hash
- 使用hscan每次获取少量field-value，再使用hdel删除每个field
- 命令：
- 阿里手册
（3）list
- 使用ltrim渐进式逐步删除，直到全部删除完成
- 命令：
- 阿里手册
（4）set
- 使用sscan每次获取部分元素，在使用srem命令删除每个元素
- 命令：
- 阿里手册
（5）zset
- 使用zscan每次获取部分元素，在使用zremrangebyrank命令删除每个元素
- 命令：
- 阿里手册
四、BigKey生产调优
redis.conf配置文件LAZY FREEING相关说明
- 阻塞和非阻塞删除命令：
- 优化配置：
