当前位置: 首页 > article >正文

redis的 stream数据类型实现 消息队列?

redis的 stream数据类型实现 消息队列?

redis的消息队列可以通过:

  • PUB/SUB,订阅/发布模式:缺点是发布订阅模式是无法持久化的,如果出现网络断开、Redis 宕机等,消息就会被丢弃;

  • 使用列表 List 实现:支持了持久化,但是不支持多播,分组消费等

redis 5.0 之后,新增的 Stream数据类型实现的 消息队列可以 持久化,支持多播、分组消费

Stream 数据类型的结构

每个 Stream 都有唯一的名称,它就是 Redis 的 key,在我们首次使用 xadd 指令追加消息时自动创建。

img

  • Consumer Group :消费组,使用 XGROUP CREATE 命令创建,一个消费组有多个消费者(Consumer), 这些消费者之间是竞争关系(即一个消息,只能被这个消息组中的一个消费者使用)。
  • last_delivered_id :游标,每个消费组会有个游标 last_delivered_id。它表示该消费组中当前已经处理完成的消息ID。用于记录消费者的处理进度,当消费者重新启动或恢复时,可以从这个位置继续处理未处理的消息
  • pending_ids:消费者(Consumer)的状态变量,作用是维护消费者的未确认的 id。 pending_ids 记录了当前已经被客户端读取的消息,但是还没有 ack 。它用来确保客户端至少消费了消息一次,而不会在网络传输的中途丢失了没处理。

此外,补充两点:

  • 消息ID:默认形式是timestampInMillis-sequence(时间戳-序号),用户也可以自定义,但必须是整数-整数形式。

  • 消息内容:消息内容就是键值对,形如hash结构的键值对。比如:

    在这里插入图片描述

消费组消费流程

在这里插入图片描述

  1. 消费组的消费者之间竞争去消费消息(一个消息只能被一个消费者使用);
  2. 消费者消费完成之后,会给redis服务器发送一个ACK,来让redis知道该条消息消费成功。

redis Stream 实现的消息队列 与 Kafka 的区别

主要是二者的使用场景:

  1. redis Stream 实现的消息队列:内存型数据库中的数据结构,更适用于相对简单的消息队列场景,性能受内存限制。
  2. kafka消息队列:专门的分布式消息队列系统,设计用于高吞吐量、大规模数据处理。

http://www.kler.cn/a/299025.html

相关文章:

  • 深入了解Java在人工智能领域的最新应用
  • ExcelVBA编程输出ColorIndex与对应颜色色谱
  • springboot460实习生管理系统设计和实现(论文+源码)_kaic
  • python如何保存.npy
  • Golong中无缓冲的 channel 和 有缓冲的 channel 的区别
  • linux---多线程
  • 在Vue 3中优化异步数据加载:利用`onMounted`与`Promise.all`
  • Spring Integration SFTP集成
  • 前端框架有哪些?全面解析主流前端框架
  • 【H2O2|全栈】关于CSS(1)CSS基础(一)
  • Android13默认开启电池百分比数字显示Framework
  • 项目答辩总结
  • NISP 一级 | 3.3 网络安全防护与实践
  • 取指操作流程
  • JavaWeb案例-登录认证
  • 【MRI基础】回波序列长度-echo train length ETL概念
  • 基于python+大数据爬虫技术+数据可视化+Spark的电力能耗数据分析与可视化平台设计与实现
  • UnLua调用蓝图变量、动画、函数
  • CSP-J 算法基础 排序算法的基本概念
  • 【Rust练习】12.枚举
  • SLM561A​​系列 60V 10mA到50mA线性恒流LED驱动芯片 为智能家居照明注入新活力
  • 【C-实践】文件服务器(1.0)
  • 如何识别和防范跨站请求伪造(CSRF)?
  • 动手学深度学习(pytorch)学习记录27-深度卷积神经网络(AlexNet)[学习记录]
  • 智能指针怎么就智能了?
  • 【Qt网络编程基础】Tcp服务器和客户端(只支持一对一)