Redis|集群 Cluster
文章目录
- 是什么
- 能干嘛
- 集群算法-分片-槽位slot
- redis集群的槽位slot
- redis集群的分片
- 分片+槽位的优势
- slot槽位映射——业界的3种解决方案
- 小厂:哈希取余分区
- 中厂:一致性哈希算法分区
- 大厂:哈希槽分区
- 面试题:为什么 Redis 集群的最大槽数是16384个?
- 集群环境案例步骤
- 集群常用操作命令和CRC16算法分析
是什么
- 定义:由于数据量过大,单个Master复制集难以承担,因此需要对多个复制集进行集群,形成水平扩展。每个复制集只负责存储整个数据集 的一部分,这就是Redis的集群,其作用是提供在多个Redis节点间共享数据的程序集。
- 官网:https://redis.io/docs/reference/cluster-spec/
- 一图
- 一句话:Redis集群是一个提供在多个Redis节点间共享数据的程序集,Redis集群可以支持多个master。
- Redis 集群是 Redis 提供的分布式解决方案,用于管理大规模数据集和高并发访问。它通过分片(sharding)将数据分布在多个节点上,提供高可用性和扩展性。
能干嘛
- Redis集群支持多个master,每个master又可以挂载多个slave
- 读写分离
- 支持数据的高可用
- 支持海量数据的读写存储操作
- 由于Cluster自带Sentinel的故障转移机制,内置了高可用的支持,无需再去使用哨兵功能
- 客户端与Redis的节点连接,不再需要连接集群中所有的节点,只需要任意连接集群中的一个可用节点即可
- 槽位slot负责分配到各个物理服务节点,由对应的集群来负责维护节点、插槽和数据之间的关系
集群算法-分片-槽位slot
- 官网出处
redis集群的槽位slot
- Redis集群的数据分片
- Redis集群没有使用一致性hash,而是引入了哈希槽的概念。
- 一致性哈希是一种特殊的哈希算法,用于解决传统哈希(如取模哈希)在分布式系统中的节点扩容和缩容问题。它将整个哈希值空间组织成一个虚拟的环状结构(哈希环),数据和服务器(节点)都映射到这个哈希环上,以实现数据的分布。
- 哈希槽主要用于 Redis Cluster 这样的分布式数据库系统,用于数据分片和管理。Redis Cluster 采用16384个哈希槽,所有 key 都会被映射到 0~16383 之间的某个哈希槽中。
- Redis集群有16384个哈希槽,每个key通过CRC16校验后对16384取模来决定放置哪个槽,集群的每个节点负责一部分hash槽
- 举个例子,比如当前集群有3个节点,那么:
redis集群的分片
- 分片是什么:使用Redis集群时我们会将存储的数据分散到多台redis机器上,这称为分片。简言之,集群中的每个Redis实例都被认为是整个数据的一个分片。
- 如何找到给定key的分片:为了找到给定key的分片,我们对key进行CRC16(key)算法处理并通过对总分片数量取模。然后,使用确定性哈希函数,这意味着给定的key将多次始终映射到同一个分片,我们可以推断将来读取特定key的位置。
分片+槽位的优势
- 最大优势:方便扩容/缩容和数据分派查找
- 这种结构很容易添加或者删除节点,比如如果我想添加个节点D,我需要从节点A,B,C中得部分槽位到D上。如果我想移除节点A,需要将A中的槽移动到B和C节点上,然后将没有任何槽的节点从集群中移除即可。
- 由于一个结点将哈希槽移动到另一个节点不会停止服务,所以无论添加删除或者改变某个节点的哈希槽的数量都不会造成集群不可用的状态。
- 扩容时,Redis 不是按顺序转移槽位,而是按节点的负载来选择迁移策略。目的是让槽位分布尽量均衡,而不是严格按 A ➝ B ➝ C ➝ D 顺序迁移。直接从 A、B 迁移给 D,减少额外的中间数据传输,提高效率。这样可以最小化数据重分布的影响,确保集群稳定运行。
slot槽位映射——业界的3种解决方案
小厂:哈希取余分区
- 2亿条记录就是2亿个k,v,我们单机承受不了,必须要分布式多机,假设有3台机器构成一个集群,用户每次读写操作都是根据公式:hash(key) % N个机器台数,计算出哈希值,用来决定数据映射到哪一个节点上。
- 优点:简单粗暴,直接有效,只需要预估好数据规划好节点,例如3台、8台、10台,就能保证一段时间的数据 支撑。使用Hash算法让固定的一部分请求落到同一台服务器上,这样每台服务器固定处理一部分请求 (并维护这些请求的信息), 起到负载均衡+分而治之的作用。
- 缺点:原来规划好的节点,进行扩容或者缩容就比较麻烦了,不管扩缩,每次数据变动导致节点有变动,比如第一次set k1 v1在第一台机器上,第二次我扩容后要去修改k1的值,set k1 v2,但是这个时候落在的扩容后的那台机器上,映射关系需要重新进行计算,在服务器个数固定不变时没有问题,如果需要弹性扩容或故障停机的情况下,原来的取模公式就会发生变化: Hash(key)/3会变成Hash(key) /?。此时地址经过取余运算的结果将发生很大变化,根据公式获取的服务器也会变得不可控。 某个redis机器宕机了,由于台数数量变化,会导致hash取余全部数据重新洗牌。
中厂:一致性哈希算法分区
-
是什么:一致性Hash算法背景是在1997年由麻省理工学院提出的,设计目标是为了解决分布式缓存数据变动和映射问题,某个机器宕机了,分母数量改变了,自然取余数不行了
-
能干嘛:提出一致性Hash解决方案。目的是当服务器个数发生变动时,尽量减少影响客户端到服务器的映射关系
-
三大步骤:
-
算法构建一致性哈希环
- 一致性哈希算法必然有个hash函数并按照算法产生hash值,这个算法的所有可能哈希值会构成一个全量集,这个集合可以成为一个hash空间[ 0 0 0, 2 32 − 1 2^{32}-1 232−1],这个是一个线性空间,但是在算法中,我们通过适当的逻辑控制将它首尾相连( 0 = 2 32 0 = 2^{32} 0=232),这样让它逻辑上形成了一个环形空间。
- 它也是按照使用取模的方法,前面笔记介绍的节点取模法是对节点(服务器)的数量进行取模。而一致性Hash算法是对
2
32
2^{32}
232取模,简单来说,一致性Hash算法将整个哈希值空间组织成一个虚拟的圆环,如假设某哈希函数H的值空间为
0
~
2
32
−
1
0~2^{32}-1
0~232−1(即哈希值是一个32位无符号整形),整个哈希环如下图:整个空间按顺时针方向组织,圆环的正上方的点代表0,O点右侧的第一个点代表1,以此类推,2、3、4、……直到
2
32
−
1
2^{32}-1
232−1,也就是说0点左侧的第一个点代表
2
32
−
1
2^{32}-1
232−1,0和
2
32
−
1
2^{32}-1
232−1在零点中方向重合,我们把这个由
2
32
2^{32}
232个点组成的圆环称为Hash环。
-
redis服务器IP节点映射
- 将集群中各个IP节点映射到环上的某一个位置。
- 将各个服务器使用Hash进行一个哈希,具体可以选择服务器的IP或主机名作为关键字进行哈希,这样每台机器就能确定其在哈希环上的位置。假如4个节点NodeA、B、C、D,经过IP地址的哈希函数计算(hash(ip)),使用IP地址哈希后在环空间的位置如下:
-
key落到服务器的落键规则
- 当我们需要存储一个kv键值对时,首先计算key的hash值,hash(key),将这个key使用相同的函数Hash计算出哈希值并确定此数据在环上的位置,从此位置沿环顺时针“行走”,第一台遇到的服务器就是其应该定位到的服务器,并将该键值对存储在该节点上。
- 如我们有Object A、 Object B、 Object C. object D四个key数据对象,经过哈希计算后,在环空间上的位置如下:根据一致性Hash算法,数据A会被定为到Node A上,B被定为到Node B上,C被定为到Node C上,D被定为到Node D上。
-
-
优点:
-
一致性哈希算法的容错性:
- 假设Node C宕机,可以看到此时对象A、B、D不会受到影响。
- 一般的,在一致性Hash算法中,如果一台服务器不可用,则受影响的数据仅仅是此服务器到其环空间中前一台服务悉(即沿着逆时针方向行走遇到的第一台服务器)之间数据,其它不会受到影响。
- 简单说,就是C挂了,受到影响的只是B、C之间的数据且这些数据会转移到D进行存储。
-
一致性哈希算法的扩展性:
- 数据量增加了,需要增加一台节点NodeX,X的位置在A和B之间,那收到影响的也就是A到X之间的数据,重新把A到X的数据录入到X上即可,不会导致hash取余全部数据重新洗牌。
- 数据量增加了,需要增加一台节点NodeX,X的位置在A和B之间,那收到影响的也就是A到X之间的数据,重新把A到X的数据录入到X上即可,不会导致hash取余全部数据重新洗牌。
-
-
缺点:一致性哈希算法的数据倾斜问题,容易头重脚轻。
- 一致性Hash算法在服务节点太少时,容易因为节点分布不均匀而造成数据倾斜(被缓存的对象大部分集中缓存在某一台服务器上)问题
- 例如系统中只有两台服务器:
-
小总结
- 为了在节点数目发生改变时尽可能少的迁移数据
- 将所有的存储节点排列在收尾相接的Hash环上,每个key在计算Hash后会顺时针找到临近的存储节点存放。而当有节点加入或退出时仅影响该节点在Hash环上顺时针相邻的后续节点。
- 优点:加入和删除节点只影响哈希环中顺时针方向的相邻的节点,对其他节点无影响。
- 缺点:数据的分布和节点的位置有关,因为这些节点不是均匀的分布在哈希环上的,所以数据在进行存储时达不到均匀分布的效果。
大厂:哈希槽分区
-
是什么?
HASH_SLOT = CRC16(key) mod 16384
- 为什么出现?
- 上面提到,一致性哈希算法会存在数据倾斜的问题
- 哈希槽实质就是一个数组,数组 [ 0 0 0, 2 14 − 1 2^{14} - 1 214−1 ] 形成hash slot空间。 2 14 = 16384 2^{14} = 16384 214=16384
- 能干什么?
- 解决均匀分配的问题,在数据和节点之间又加入了一层,把这层称为哈希槽(slot),用于管理数据和节点之间的关系,现在就相当于节点上放的是槽,槽里面放的是数据。
- 槽解决的是粒度问题,相当于把粒度变大了,这样便于数据移动。哈希解决的是映射问题,使用key的哈希值来计算所在的槽,便于数据分配
- 粒度问题 指的是数据分片的精细程度。如果粒度太小(如每个键单独分片),管理开销会很大;如果粒度太大(如所有键都在一个分片),会导致负载不均衡。
- 槽将多个键聚合到一个分片单元中,减少了分片的数量(从键级别到槽级别),降低了管理开销。槽的分配可以动态调整,确保数据均匀分布到各个节点,避免热点问题。当集群扩容或缩容时,只需迁移槽,而不是单个键,提高了效率。
- 传统的分片策略(如客户端分片)通常是以 key 为单位决定数据存储位置,key 直接映射到特定的服务器,迁移时需要操作大量 key,管理复杂。Redis 集群引入 槽(slot) 的概念,把数据管理的粒度从单个 key 变为16384 个槽,一个节点可以管理多个槽,槽内部的 key 由该节点负责。粒度变大:相比直接对单个 key 进行管理,Redis 通过 槽 进行管理,使得数据划分和迁移的操作更加高效。
- 由于 Redis 采用槽的方式进行分片,如果要进行数据迁移(比如增加/删除节点),Redis 只需要移动部分槽到新的节点,而不是逐个 key 进行操作。这样可以降低迁移开销,提高数据重分布的效率,从而保证集群的可扩展性。
- 通过槽的方式,每个节点可以持有多个槽,分配更均匀,避免单个节点负载过高。如果集群扩容,只需要将部分槽从老节点迁移到新节点,而不需要修改 key 的哈希映射规则。
- 解决均匀分配的问题,在数据和节点之间又加入了一层,把这层称为哈希槽(slot),用于管理数据和节点之间的关系,现在就相当于节点上放的是槽,槽里面放的是数据。
- 多少个hash槽
- 一个集群只能有16384个槽,编号0-16383( 0 0 0- 2 14 − 1 2^{14} - 1 214−1)。这些槽会分配给集群中的所有主节点,分配策略没有要求。
- 集群会记录节点和槽的对应关系,解决了节点和槽的关系后,接下来就需要对key求哈希值,然后对16384取模,余数是几key就落入对应的槽里。
- HASH_SLOT = CRC16(key) mod 16384。以槽为单位移动数据,因为槽的数目是固定的,处理起来比较容易,这样数据移动问题就解决了。
- 为什么出现?
-
哈希槽计算
-
Redis集群中内置了16384个哈希槽,redis 会根据节点数量大致均等的将哈希槽映射到不同的节点。当需要在Redis集群中放置一个key-valuel时,redis先对key使用crc16算法算出一个结果然后用结果对16384求余数[ CRC16(key) % 16384],这样每个key都会对应一个编号在0-16383之间的哈希槽,也就是映射到某个节点上。
-
如下代码,key之A、B在Node2, key之C落在Node3上
面试题:为什么 Redis 集群的最大槽数是16384个?
- Redis集群并没有使用一致性hash,而是引入了哈希槽的概念。
- Redis 集群有16384个哈希糟,每个key通过CRC16校验后对16384取模来决定放置哪个槽,集群的每个节点负责一部分hash槽。
- 但为什么哈希槽的数量是16384 (2^14)个呢?
- CRC16算法产生的hash值有16bit,该算法可以产生 2 16 = 65536 2^{16}=65536 216=65536个值。 换句话说值是分布在0~65535之间,有更大的65536不用为什么只用16384就够?
- 作者在做mod运算的时候,为什么不mod65536,而选择mod16384?HASHSLOT=CRC16(key)mod65536为什么没启用?
- 作者回答:https://github.com/redis/redis/issues/2576
- 正常的心跳数据包带有节点的完整配置,可以用幂等方式用旧的节点替换旧节点,以便更新旧的配置。 这意味着它们包含原始节点的插槽配置,该节点使用2k的空间和16k的插槽,但是会使用8k的空间(使用65k的插槽)。
- 同时,由于其他设计折衷,Redis集群不太可能扩展到1000个以上的主节点。 因此16k处于正确的范围内,以确保每个主机具有足够的插槽,最多可容纳1000个矩阵,但数量足够少,可以轻松地将插槽配置作为原始位图传播。
- 请注意,在小型群集中,位图将难以压缩,因为当N较小时,位图将设置的slot / N位占设置位的很大百分比。
-
看不懂?我也是!上具体解释!
- 如果槽位为65536,发送心跳信息的消息头达8k,发送的心跳包过于庞大。
- 在消息头中最占空间的是myslots[CLUSTER_SLOTS/8]。当槽位为65536时,这块的大小是:65536÷8÷1024=8kb。
- 在消息头中最占空间的是myslots[CLUSTER_SLOTS/8]。当槽位为16384时,这块的大小是:16384∶8∶1024=2kb。
- 因为每秒钟,redis节点需要发送一定数量的ping消息作为心跳包,如果槽位为65536,这个ping消息的消息头太大了,浪费带宽。
- redis的集群主节点数量基本不可能超过1000个。
- 集群节点越多,心跳包的消息体内携带的数据越多。
- 如果节点过1000个,也会导致网络拥堵。
- 因此redis作者不建议redis cluster节点数量超过1000个。那么,对于节点数在1000以内的redis cluster集群,16384个槽位够用了。没有必要拓展到65536个。
- 槽位越小,节点少的情况下,压缩比高,容易传输。
- Redis主节点的配置信息中它所负责的哈希槽是通过一张bitmap的形式来保存的,在传输过程中会对bitmap进行压缩,但是如果bitmap的填充率slots /N很高的话(N表示节点数), bitmap的压缩率就很低。
- 如果节点数很少,而哈希槽数量很多的话,bitmap的压缩率就很低。
- 如果槽位为65536,发送心跳信息的消息头达8k,发送的心跳包过于庞大。
-
Redis集群不保证强一致性,这意味着在特定的条件下,Redis集群可能会丢掉一些被系统收到的写入请求命令。比如刚写完数据还没来得及同步就宕机了的master,slave上位就会导致写丢失。
集群环境案例步骤
- 3主3从redis集群配置
- 找3台真实虚拟机,各自新建:
mkdir -p /myredis/cluster
- 新建6个独立的redis实例服务
- 注意这里,由于内存有限,开不了6台虚拟机,所以3台虚拟机每台上面有一主一从
- IP:192.168.111.185 + 端口6381/6382
- 进行redis集群配置文件相关的修改
- vim /myredis/cluster/redisCluster6381.conf
- vim /myredis/cluster/redisCluster6382.conf
- IP:192.168.111.185 + 端口6383/6384
- vim /myredis/cluster/redisCluster6383.conf
- vim /myredis/cluster/redisCluster6384.conf
- IP:192.168.111.185 + 端口6385/6386
- vim /myredis/cluster/redisCluster6385.conf
- vim /myredis/cluster/redisCluster6386.conf
- 找3台真实虚拟机,各自新建:
- 启动6台主机实例
- redis-server /myredis/cluster/redisCluster6381.conf
- redis-server /myredis/cluster/redisCluster6382.conf
- redis-server /myredis/cluster/redisCluster6383.conf
- redis-server /myredis/cluster/redisCluster6384.conf
- redis-server /myredis/cluster/redisCluster6385.conf
- redis-server /myredis/cluster/redisCluster6386.conf
- 通过redis-cli 命令为6台机器构建集群关系
- 构建主从关系命令
// 一定要注意,此处要修改自己的IP为真实IP
redis-cli -a 123456 --cluster create --cluster-replicas 1 192.168.111.175:6381 192.168.111.175:6382 192:168.111.172:6383 192.168.111.172:6384 192.168.111.174:6385 192.168.111.174:6386
--cluster- replicas 1
表示为每个master创建一个slave节点
- 一切ok的话,3主3从搞定
- 6381作为切入点,查看并检验集群状态
- 连接进6381作为切入点,查看节点状态
- 理想设计图
- 实际分配图
cluster nodes
,是 Redis 集群管理命令之一,用于获取当前 Redis 集群中所有节点的详细信息。该命令返回一个包含集群节点信息的字符串,返回一个多行字符串,每行代表一个节点的信息,格式如下:
<node_id> <ip:port> <flags> <master_id> <ping_sent> <pong_received> <config_epoch> <link_state> <slot> <slot> ... <slot>
CLUSTER INFO
,是 Redis 集群管理命令之一,用于获取 Redis 集群的当前状态和统计信息。该命令返回一个包含集群关键信息的字符串
-
3主3从redis集群读写
- 对6381新增2个key,看看效果如何:一个失败一个成功
- 提示你k2可以在6381上set,但是要set k1得去6385机器上才可以
- 为什么报错?在 Redis 集群中,数据被分布到多个节点上,每个节点只负责一部分哈希槽(slots)。当你尝试访问一个键时,如果该键所在的哈希槽不由当前连接的节点负责,Redis 会返回一个 重定向错误(MOVED 或 ASK),告诉客户端应该连接到哪个节点。注意:路由到位,即路由到对应的slot槽位
- 如何解决?防止路由失效加参数
-c
并新增两个key:redis-cli -a 123456 -p 6381 -c
,-c 参数表示启用集群模式(Cluster Mode)。当连接到 Redis 集群时,使用 -c 参数可以让 redis-cli 自动处理 Redis 集群的重定向逻辑。 - 服务加上 -c 后查看集群信息:信息无变化
- 查看某个key该属于对应的槽位值
cluster keyslot 键名称
- 对6381新增2个key,看看效果如何:一个失败一个成功
-
主从容错切换迁移案例
-
容错切换迁移
-
主6381和从机切换,先停止主机6381
- 6381主机停了,对应的真实从机上位
- 6381作为1号主机分配的从机以实际情况为准,具体是几号机器就是几号机器
-
再次查看集群信息,本次6381主6384从
-
停止主机6381,再次查看集群信息:6384成功上位并能够正常使用
-
随后,6381原来的主机回来了,是否会上位?
-
恢复前
-
恢复后:6381不会上位并以从节点形式回归
-
-
-
集群不保证数据一致性100%OK,是会有数据丢失的情况
- Redis集群不保证强一致性这意味着在特定的条件下,Redis集群可能会丢掉一些被系统收到的写入请求命令
- Redis集群不保证强一致性这意味着在特定的条件下,Redis集群可能会丢掉一些被系统收到的写入请求命令
-
手动故障转移or节点从属调整该如何处理
- 上面6381宕机后,6381和6384主从对调了,和原始设计图不一样了,该如何调换主从位置呢
- 重新登录6381机器
- 常用命令:
cluster failover
,是 Redis 集群管理命令之一,用于手动触发主从切换。通过该命令,可以强制将一个从节点(slave)提升为主节点(master),而原来的主节点则降级为从节点。这个操作通常用于维护、故障恢复或负载均衡。CLUSTER FAILOVER 命令的作用是将当前的从节点(slave)提升为主节点(master),而原来的主节点会降级为从节点。它并不会恢复原来的主从关系,而是切换主从角色。
-
- 主从扩容案例
-
新建6387、6388两个服务实例配置文件+新建后启动
- IP:192.168.11.174+端口6387/端口6388
- vim /myredis/cluster/redisCluster6387.conf
- vim /myredis/cluster/redisCluster6388.conf
-
启动87/88两个新的节点实例,此时他们自己都是master
- redis-server /myredis/cluster/redisCluster6387.conf
- redis-server /myredis/cluster/redisCluster6388.conf
-
将新增的6387节点(空槽位)作为master节点加入集群
- 将新增的6387作为master节点加入原有集群
redis-cli -a 密码 --cluster add −node 自己实际IP地址:6387 自己实际IP地址:6381
- 6387就是将要作为master新增的节点,6381就是原来集群节点里面的领路人,相当于6387拜6381的码头从而找到组织加入集群
redis-cli -a 123456 --cluster add-node 192.168.111.174:6387 192.168.111.175:6381
-
检查集群情况第一次
redis-cli -a 密码 --cluster check 真实ip地址:6381
,用于检查 Redis 集群的状态包括:集群中的节点列表、每个节点的角色(主节点或从节点)、槽(slot)的分配情况、集群是否处于健康状态(例如,是否有槽未分配或节点不可用)。如果发现问题(如槽未分配或节点宕机),命令会输出警告或错误信息。- 例如:
redis-cli -a 123456 --cluster check 192.168.111.175:6381
-
重新分派槽位【reshard - 重新分片】
- 重新分派槽号 命令:
redis-cli -a 密码 --cluster reshard IP地址:端口号
redis-cli -a 123456 --cluster reshard 192.168.111.175:6381
- 然后会提示你输入node id,指定新节点去接收槽位,注意:Redis集群在重新分配槽位时,数据会随槽位一起移动。
- 重新分派槽号 命令:
-
检查集群情况第二次
redis-cli --cluster check 真实IP地址:6381
redis-cli --cluster check 192.168.111.175:6381
- 槽位分派说明
- 为什么6387是3个新的区间,以前的还是连续?
- 重新分配成本太高,所以前3家各自匀出来一部分,从6381/6383/6385三个旧节点分别匀出1364个坑位给信节点6387
-
为主节点6387分配从节点6388
- 命令:redis-cli -a 密码 −−cluster add−node
ip:新slave端口 IP :新master端口 --cluster-slave --cluster-master-id 新主机节ID - redis-cli -a 111111 --cluster add-node 192.168.111.174:6388 192.168.111.174:6387 --cluster-slave --cluster-master-id 4feb6a7ee0ed2b39f86474cf4189ab2a554a40f-------这个是6387的编号,按照自己实际情况
- 命令:redis-cli -a 密码 −−cluster add−node
-
检查集群情况第三次
- redis-cli --cluster check 真实IP地址:6381
- redis-cli --cluster check 192.168.111.175:6381
-
- 主从缩容案例
-
目的:6387和6388下线
-
检查集群情况第一次,先获得从节点6388的节点ID
redis-cli -a 123456 --cluster check 192.168.111.174:6388
-
从集群中将4号结点6388删除
- 命令:
redis-cli -a password --cluster del-node ip:从机端口 从机节点ID
redis-cli -a 123456 --cluster del-node 192.168.111.174:6388 218e7b8b4f81be54ff173e4776b4f4faaf7c13da
- 命令:
-
将6387的槽号清空,重新分配,本例将清出来的槽号都给6381
redis-cli -a 123456 --cluster reshard 192.168.111.175:6381
-
检查集群情况第二次
redis-cli -a 123456 --cluster check 192.168.111.175:6381
- 4096个槽位都指给6381,它变成了8192个槽位,相当于全部都给6381了,不然要输入三次 Source node
- 注意这里的6387从master变成了slave
-
将6387删除
redis-cli -a 123456 --cluster del-node 192.168.111.174:6387 307a5f6617a6eeb4949f3cb9124ed04c6962c348
-
检查集群情况第三次 6387/6388被彻底删除
redis-cli -a 123456 --cluster check 192.168.111.174:6381
-
集群常用操作命令和CRC16算法分析
-
不在同一个slot槽位下的多键操作支持不好,通识占位符登场
-
不在同一个slot槽位下的键值无法使用mset、mget等多键操作
-
可以通过
{}
来定义同一个组的概念,使key中{}内相同内容的键值对放到一个slot槽位去,对照下图类似k1k2k3都映射为x,自然槽位一样- 在 Redis 集群中,哈希标签(Hash Tags) 是一种用于控制键值对分布到特定槽位的机制。通过使用 {} 来定义哈希标签,可以让具有相同标签的键值对分配到同一个槽位。这对于需要将相关数据存储在同一个节点的场景非常有用。
- 在 Redis 集群中,默认情况下,键的槽位是通过对完整键名计算 CRC16 哈希值来确定的。然而,通过使用 {} 定义哈希标签,Redis 只会对 {} 内的内容计算哈希值,从而确保具有相同标签的键值对分配到同一个槽位。
-
Redis集群有16384个哈希槽,每个key通过CRC16校验后对16384取模来决定放置哪个槽。集群的每个节点负责一部分hash槽
- CRC16源码浅谈
- cluster.c源码分析一下
- CRC16(Cyclic Redundancy Check,循环冗余校验)是一种常用的错误检测算法,广泛应用于数据通信和存储中,用于检测数据传输或存储过程中是否发生了错误。CRC16 通过生成一个16位的校验值来验证数据的完整性。
- CRC16 基于多项式除法,使用一个预定义的多项式(称为生成多项式)对数据进行计算,生成一个16位的校验码。发送方在发送数据时计算CRC值并附加到数据中,接收方在接收数据后重新计算CRC值并与接收到的CRC值进行比较,如果两者不一致,则说明数据在传输过程中发生了错误。
-
常用命令
- 集群是否完整才能对外提供服务
cluster-require-full-coverage
- 默认YES,现在集群架构是3主3从的redis cluster由3个master平分16384个slot,每个master的小集群负责1/3的slot,对应一部分数据。cluster-require-full-coverage:默认值yes,即需要集群完整性,方可对外提供服务通常情况,如果这3个小集群中,任何一个(1主1从)挂了,你这个集群对外可提供的数据只有2/3了,整个集群是不完整的, redis默认在这种情况下,是不会对外提供服务的。
- 如果你的诉求是,集群不完整的话也需要对外提供服务,需要将该参数设置为no,这样的话你挂了的那个小集群是不行了,但是其他的小集群仍然可以对外提供服务。
- CLUSTER COUNTKEYSINSLOT 槽位数字编号
- CLUSTER COUNTKEYSINSLOT 12706
- 返回结果:
- 1 该槽位被占用
- 0 该槽位没有被占用
- CLUSTER KEYSLOT 键名称
- CLUSTER KEYSLOT k1
- 返回对应key的槽位数据,key不存在则返回0
- 集群是否完整才能对外提供服务