Redis进阶篇 - 缓存穿透、缓存击穿、缓存雪崩问题及其解决方案
文章目录
- 1 文章概述
- 2 缓存穿透
- 2.1 什么是缓存穿透?
- 2.2 缓存穿透的解决方法
- 2.2.1 做好参数校验
- 2.2.2 缓存无效Key
- 2.2.3 使用布隆过滤器
- 2.2.4 接口限流
- 3 缓存击穿
- 3.1 什么是缓存击穿?
- 3.2 缓存击穿的解决方法
- 3.2.1 调整热点数据过期时间
- 3.2.2 热点数据预热
- 3.2.3 控制数据库并发
- 4 缓存雪崩
- 4.1 什么是缓存雪崩?
- 4.2 缓存雪崩的解决方法
- 4.2.1 针对缓存服务不可用的情况
- 4.2.2 针对缓存大面积过期的情况
1 文章概述
在使用 Redis 作为缓存时,缓存穿透、缓存击穿和缓存雪崩是常见的问题,可能会影响系统性能和稳定性。本文将深入探讨这些问题的概念、产生原因、以及可能带来的影响,并针对这些问题提供的解决方案,以帮助读者更好地理解并解决这些挑战。
2 缓存穿透
2.1 什么是缓存穿透?
缓存穿透问题: 大量且频繁地请求缓存和数据库中都不存在的数据,由于缓存无法命中,这些请求都穿透缓存直接访问数据库,导致数据库压力暴增,影响系统性能。
缓存穿透可能发生的原因包括查询参数异常、恶意攻击、业务逻辑错误等。如果恶意用户或者攻击者发送大量不存在于缓存中的请求,系统会不断地去查询数据库,导致数据库负载增加,甚至可能引起数据库宕机。缓存穿透不仅影响系统性能,还可能暴露后端数据给未经授权的用户,造成安全隐患。
2.2 缓存穿透的解决方法
要解决缓存穿透问题,本质就是要避免出现请求直接访问数据库的情况。
2.2.1 做好参数校验
解决缓存穿透,最基本的就是首先做好参数校验,从系统入口处就拒绝掉非法的请求,一些不合法的参数请求直接抛出异常信息返回给客户端。比如查询的数据库 id 不能小于 0、传入的邮箱格式不对的时候直接返回错误消息给客户端等等。
2.2.2 缓存无效Key
做好参数校验只能拒绝掉不符合基本参数校验规则的请求,对于那些符合参数校验规则的无效请求则无能为力。
缓存无效Key方法指的是,在缓存和数据库都查询不到数据的时候,向缓存中插入一个空的数据,并设置过期时间。这样,当下一次接收到相同请求时,就可以直接从缓存中获取到空数据,而不需要查询数据库。
这种方式可以解决请求的 key 变化不频繁的情况,如果黑客每次构建不同的请求 key,不仅不能解决缓存穿透问题,还会导致 Redis 中缓存大量无效的 key 。很明显,这种方案并不能从根本上解决此问题。如果非要用这种方式来解决穿透问题的话,尽量将无效的 key 的过期时间设置短一点。
2.2.3 使用布隆过滤器
布隆过滤器是一个非常神奇的数据结构,通过它我们可以非常方便地判断一个给定数据是否存在于海量数据中。我们可以把它看作由二进制向量(或者说位数组)和一系列随机映射函数(哈希函数)两部分组成的数据结构。相比于我们平时常用的 List、Map、Set 等数据结构,它占用空间更少并且效率更高,但是缺点是其返回的结果是概率性的,而不是非常准确的。理论情况下添加到集合中的元素越多,误报的可能性就越大。并且,存放在布隆过滤器的数据不容易删除。
关于布隆过滤器的更多内容,可以参考文章:布隆过滤器有什么用?什么原理?如何使用?
使用布隆过滤器解决缓存穿透问题的方法是:将所有可能存在的请求的值都存放在布隆过滤器中,当用户请求过来,先判断用户发来的请求的值是否存在于布隆过滤器中。不存在的话,直接返回请求参数错误信息给客户端,存在的话才会走后续流程。
2.2.4 接口限流
根据用户或者 IP 对接口进行限流,对于异常频繁的访问行为,还可以采取黑名单机制,例如将异常 IP 列入黑名单。
3 缓存击穿
3.1 什么是缓存击穿?
缓存击穿问题: 缓存击穿是指缓存中的某个热点数据突然失效或过期,此时有大量并发请求同时访问该数据,导致这些请求无法从缓存中获取数据,而直接访问数据库,造成数据库压力剧增,甚至可能导致数据库宕机。缓存击穿通常发生在具有高并发读取请求的热点数据上。
3.2 缓存击穿的解决方法
3.2.1 调整热点数据过期时间
设置热点数据永不过期或设置较长过期时间,避免热点数据突然过期的情况,从根源上解决缓存击穿问题!
应该没人会去随便删除热点数据缓存吧?!
3.2.2 热点数据预热
针对热点数据提前预热,将其存入缓存中并设置合理的过期时间。这也能从根源上解决缓存击穿问题!
比如在秒杀场景中:可以在秒杀活动开始之前,将热点数据加载到缓存中,并设置其过期时间在秒杀结束之后。
3.2.3 控制数据库并发
在缓存失效时使用互斥锁(Mutex)或者分布式锁来保护数据库查询过程,只允许一个线程进行数据库查询,其他线程等待查询结果。
4 缓存雪崩
4.1 什么是缓存雪崩?
缓存雪崩问题: 缓存雪崩是指在缓存中存储的大量数据同时失效或者过期,导致大量请求直接访问数据库获取数据,从而造成数据库负载剧增,甚至引发系统崩溃的现象。
注意:缓存服务器宕机导致的缓存失效也算哦
4.2 缓存雪崩的解决方法
4.2.1 针对缓存服务不可用的情况
- 采用 Redis 集群,避免单机出现问题整个缓存服务都没办法使用。
- 限流,避免同时处理大量的请求。
- 采用多级缓存,例如本地缓存+Redis 缓存的组合,当 Redis 缓存出现问题时,还可以从本地缓存中获取到部分数据。
4.2.2 针对缓存大面积过期的情况
- 设置缓存数据的过期时间随机性,避免大量数据同时失效。
- 缓存永不失效(不太推荐,实用性太差)。
- 缓存预热,也就是在程序启动后或运行过程中,主动将热点数据加载到缓存中。