当前位置：首页 > article >正文

大厂面试真题-说说redis的分片方式

article 2024/11/5 18:21:58

Redis的分片机制是其实现数据分布式存储和处理的关键，它允许将数据拆分存放在不同的Redis实例上，每个Redis实例只包含所有键的子集，从而提高了系统的性能和可扩展性。以下是Redis常用的分片方式：

一、按照范围分片

这种方式相对简单，但效率较低。例如，可以制定一个算法将用户userid从0到1000映射到实例A，userid从1000到2000映射到实例B，以此类推。然而，这种方式需要维护userid范围和映射实例之间的关系，增加了管理的复杂性。

二、哈希分片

哈希分片是一种更为高效和灵活的分片方式，它通过将键进行哈希运算，然后将哈希值映射到不同的Redis实例上。Redis中常用的哈希分片方式有以下几种：

经典哈希取模算法：
- 原理：假设Redis集群有N个节点，使用哈希函数对键进行哈希运算，然后对N取模，得到的结果就是该键应该存储的节点索引。
- 缺点：对扩/缩容不友好。当节点数量发生变化时，大量的键需要进行数据迁移。
一致性哈希算法：
- 原理：将整个哈希值空间组织成一个虚拟的圆环，每个节点都映射到圆环上的一个位置。当需要存储一个键时，计算该键的哈希值，然后在圆环上顺时针找到最近的节点进行存储。
- 优点：在节点数量发生变化时，能够最小化数据的迁移。通过引入虚拟节点的概念，可以进一步提高数据的均衡性。
- 注意：Redis Cluster并没有直接使用一致性哈希算法进行分片，而是采用了哈希槽的方式。
Redis Cluster的哈希槽分区：
- 原理：Redis Cluster将整个数据集划分为16384个哈希槽（slot），每个节点负责维护一部分哈希槽。客户端在访问数据时，先计算出数据对应的哈希槽，然后直接连接到该槽所在的节点进行操作。
- 优点：支持动态扩容和缩容，无需暂停所有Redis实例服务。数据迁移使用非阻塞的异步方式，减少对系统性能的影响。
- 哈希槽数量选择原因：Redis选择16384个哈希槽主要是基于带宽占用、压缩比高以及节点数量的考虑。16384个槽位足够在1000个节点以内的cluster集群中使用，同时能够减少心跳包占用的带宽和提高bitmap的压缩率。

三、分片实现方式

客户端分片：
- 原理：客户端自己计算键需要映射到哪一个Redis实例，并直接连接到该实例进行操作。
- 优点：降低了集群的复杂度，服务器之间没有任何关联性。
- 缺点：客户端需要知道当前集群下不同Redis实例的信息，当新增Redis实例时需要支持动态分片，多数Redis需要重启才能实现该功能。
代理分片：
- 原理：客户端将请求发送到代理，代理通过计算得到需要映射的集群实例信息，然后将客户端的请求转发到对应的集群实例上，并返回响应给客户端。
- 优点：降低了客户端的复杂度，客户端不用关心后端Redis实例的状态信息。
- 缺点：多了一个中间分发环节，可能对性能造成一定的损失。
服务器端分片：
- 原理：客户端可以和集群中任意Redis实例通信，当客户端访问某个实例时，服务器进行计算键应该映射到哪个具体的Redis实例中存储。如果映射的实例不是当前实例，则该实例主动引导客户端去对应实例对键进行操作。
- 优点：无需客户端或代理进行额外的计算，由服务器端负责数据的分片和管理。
- 缺点：涉及多实例的数据处理比较复杂，对服务器的性能和稳定性要求较高。