当前位置: 首页 > article >正文

Redis--内存管理(过期删除和内存淘汰策略)

内存管理

  • 内存管理
    • 过期删除策略
      • 如何设置过期时间?
      • 过期删除策略有哪些?
      • Redis使用的过期删除策略是什么?
      • Redis持久化时,过期键如何处理?
      • Redis在集群模式下,对过期键如何处理?
    • 内存淘汰策略
      • Redis 内存满了,会发生什么?
      • Redis 内存淘汰策略有哪些?
      • LRU算法和LFU算法的区别?

内存管理

过期删除策略

Redis 是可以对 key 设置过期时间的,因此需要有相应的机制将已过期的键值对删除,而做这个工作的就是过期键值删除策略。

如何设置过期时间?

在 Redis 中,你可以使用以下四种命令为 Key 设置到期时间:

  • EXPIRE:以为单位,设置 Key 的有效时间。
  • PEXPIRE:以毫秒为单位,设置 Key 的有效时间。
  • EXPIREAT:以为单位,设置 Key 的到期时间戳。
  • PEXPIREAT:以毫秒为单位,设置 Key 的到期时间戳。

其中,前两者指定的是 Key 的有效时长,而后两者指定的是 Key 到期时间点

不过,在 Redis 底层实现中,四种命令最终都会变为 Key 到期时间点对应的时间戳,并被记录在一个到期字典中(哈希表)。

过期删除策略有哪些?

包括惰性删除和定期删除。

惰性删除策略:不主动删除过期键,每次从数据库访问 key 时,都检测 key 是否过期,如果过期则删除该 key。

惰性删除策略的优点

  • 因为每次访问时,才会检查 key 是否过期,所以此策略只会使用很少的系统资源,因此,惰性删除策略对 CPU 时间最友好。

惰性删除策略的缺点

  • 如果一个 key 已经过期,而这个 key 又仍然保留在数据库中,那么只要这个过期 key 一直没有被访问,它所占用的内存就不会释放,,造成了一定的内存空间浪费。所以,惰性删除策略对内存不友好。

定时删除策略:每隔一段时间「随机」从数据库中取出一定数量的 key 进行检查,并删除其中的过期key。

Redis 的定期删除的流程:

  1. 从过期字典中随机抽取 20 个 key;
  2. 检查这 20 个 key 是否过期,并删除已过期的 key;
  3. 如果本轮检查的已过期 key 的数量,超过 5 个(20/4),也就是「已过期 key 的数量」占比「随机抽取 key 的数量」大于 25%,则继续重复步骤 1;如果已过期的 key 比例小于 25%,则停止继续删除过期 key,然后等待下一轮再检查。

定期删除策略的优点

  • 通过限制删除操作执行的时长和频率,来减少删除操作对 CPU 的影响,同时也能删除一部分过期的数据减少了过期键对空间的无效占用。

定期删除策略的缺点

  • 难以确定删除操作执行的时长和频率。如果执行的太频繁,就会对 CPU 不友好;如果执行的太少,那又和惰性删除一样了,过期 key 占用的内存不会及时得到释放。

Redis使用的过期删除策略是什么?

Redis 是可以对 key 设置过期时间的,因此需要有相应的机制将已过期的键值对删除,而做这个工作的就是过期键值删除策略。

每当我们对一个 key 设置了过期时间时,Redis 会把该 key 带上过期时间存储到一个过期字典(expires dict)中,也就是说「过期字典」保存了数据库中所有 key 的过期时间。

当我们查询一个 key 时,Redis 首先检查该 key 是否存在于过期字典中:

  • 如果不在,则正常读取键值;
  • 如果存在,则会获取该 key 的过期时间,然后与当前系统时间进行比对,如果比系统时间大,那就没有过期,否则判定该 key 已过期。

Redis 使用的过期删除策略是「惰性删除+定期删除」这两种策略配和使用。

Redis持久化时,过期键如何处理?

Redis 使用 AOF 与 RBD 两种方式来持久化内存中数据,这个过程同样需要考虑如何处理过期的 key:

  • AOF:当 Key 因为到期而被删除时,将会向 AOF 追加一条 DEL 命令。如果在这个过程中进行了 AOF 重写,那么重写后的 AOF 文件中则将直接忽略掉这个过期的 Key。
  • RDB:与 AOF 重写类似,在创建 RDB 的时候,过期的 Key 会被直接忽略

Redis在集群模式下,对过期键如何处理?

当集群中的实例发现 Key 到期后,实例会根据它自己是主节点还是从节点而采取不同的行为:

  • 如果是主节点,它会在删除这个过期 Key 后向所有从节点发送一个 DEL 命令。
  • 如果是从节点,那么它将会将这个 Key 标记为到期,但并不会真正的删除。只有当接到从主节点发来的 DEL 命令之后,才会真正的将过期键删除掉。

从节点不会主动删除 key,这是为了保证与主节点数据的一致性,以便当主从切换时后,仍然可以正常的处理过期 key。

内存淘汰策略

Redis 内存满了,会发生什么?

在 Redis 的运行内存达到了某个阀值,就会触发内存淘汰机制,这个阀值就是我们设置的最大运行内存,此值在 Redis 的配置文件中可以找到,配置项为 maxmemory。

Redis 内存淘汰策略有哪些?

Redis 内存淘汰策略共有八种,这八种策略大体分为「不进行数据淘汰」和「进行数据淘汰」两类策略。

1、不进行数据淘汰的策略

noeviction(Redis3.0之后,默认的内存淘汰策略) :它表示当运行内存超过最大设置内存时,不淘汰任何数据,而是不再提供服务,直接返回错误。

2、进行数据淘汰的策略

针对「进行数据淘汰」这一类策略,又可以细分为「在设置了过期时间的数据中进行淘汰」和「在所有数据范围内进行淘汰」这两类策略。 在设置了过期时间的数据中进行淘汰:

  • volatile-random:随机淘汰设置了过期时间的任意键值;
  • volatile-ttl:优先淘汰更早过期的键值。
  • volatile-lru(Redis3.0 之前,默认的内存淘汰策略):淘汰所有设置了过期时间的键值中,最久未使用的键值;
  • volatile-lfu(Redis 4.0 后新增的内存淘汰策略):淘汰所有设置了过期时间的键值中,最少使用的键值;

在所有数据范围内进行淘汰:

  • allkeys-random:随机淘汰任意键值;
  • allkeys-lru:淘汰整个键值中最久未使用的键值;
  • allkeys-lfu(Redis 4.0 后新增的内存淘汰策略):淘汰整个键值中最少使用的键值。

LRU算法和LFU算法的区别?

LRU 全称是 Least Recently Used 翻译为最近最少使用,会选择淘汰最近最少使用的数据。

Redis 是如何实现 LRU 算法的?

Redis 实现的是一种近似 LRU 算法,目的是为了更好的节约内存,它的实现方式是在 Redis 的对象结构体中添加一个额外的字段,用于记录此数据的最后一次访问时间

当 Redis 进行内存淘汰时,会使用随机采样的方式来淘汰数据,它是随机取 5 个值(此值可配置),然后淘汰最久没有使用的那个

Redis 实现的 LRU 算法的优点:

  • 不用为所有的数据维护一个大链表,节省了空间占用;
  • 不用在每次数据访问时都移动链表项,提升了缓存的性能;

但是 LRU 算法有一个问题,无法解决缓存污染问题,比如应用一次读取了大量的数据,而这些数据只会被读取这一次,那么这些数据会留存在 Redis 缓存中很长一段时间,造成缓存污染。

因此,在 Redis 4.0 之后引入了 LFU 算法来解决这个问题。

什么是 LFU 算法?

LFU 全称是 Least Frequently Used 翻译为最近最不常用的,LFU 算法是根据数据访问次数来淘汰数据的,它的核心思想是“如果数据过去被访问多次,那么将来被访问的频率也更高”。

所以, LFU 算法会记录每个数据的访问次数。当一个数据被再次访问时,就会增加该数据的访问次数。

Redis 是如何实现 LFU 算法的?

LFU 算法相比于 LRU 算法的实现,多记录了「数据的访问频次」的信息。Redis 对象的结构如下:

typedef struct redisObject {
    // 24 bits,用于记录对象的访问信息
    unsigned lru:24;
} robj;

http://www.kler.cn/a/466714.html

相关文章:

  • MarkDown 的 mermaid gantt(甘特图)、mermaid sequenceDiagram (流程图) 语法解析和应用
  • 常用的数据结构API概览
  • 数据分析思维(七):分析方法——群组分析方法
  • 今日头条ip属地根据什么显示?不准确怎么办
  • LLM - 使用 LLaMA-Factory 部署大模型 HTTP 多模态服务 教程 (4)
  • 音视频入门基础:MPEG2-PS专题(3)——MPEG2-PS格式简介
  • 机器学习笔记 - 单幅图像深度估计的最新技术
  • python对mongodb的增删查改
  • 半导体材料-制造材料
  • 分布式锁常见实现方案总结
  • 数据库进阶教程之DDL语句(万字详解)
  • 使用 Docker 查看 Elasticsearch 错误日志
  • OpenCV相机标定与3D重建(41)从 3D 物点和它们对应的 2D 图像点估算初始相机内参矩阵函数initCameraMatrix2D()的使用
  • MySQL8安装与卸载
  • 跳转至系统设置下某个子模块 - 鸿蒙 Harmony
  • 使用Python实现实时视频处理与分析:解锁计算机视觉的无限可能
  • Go语言中的逃逸分析:深入浅出
  • [网络安全] DVWA之 Weak Session IDs -弱会话- 攻击姿势及解题详析合集
  • 外观模式详解
  • 大模型推理的极限:理论分析、数学建模与 CPU/GPU 实测
  • 计算机网络面试常见知识框架以及常见面试题解
  • 【数据结构-单调队列】力扣LCR 184. 设计自助结算系统
  • 24年收尾之作------动态规划<六> 子序列问题(含对应LeetcodeOJ题)
  • 如何在Windows / Mac / Android上查看 HEIC 图像
  • 使用rust加速python的tgz解压
  • Excel-vlookup 函数使用