当前位置: 首页 > article >正文

RabbitMQ如何保证消息不被重复消费

前言:

正常情况下,消费者在消费消息后,会给消息队列发送一个确认,消息队列接收后就知道消息已经被成功消费了,然后就从队列中删除该消息,也就不会将该消息再发送给其他消费者了。不同消息队列发出的确认消息形式不同,RabbitMQ是通过发送一个ACK确认消息。但是因为网络故障,消费者发出的确认并没有传到消息队列,导致消息队列不知道该消息已经被消费,然后就再次消息发送给了其他消费者,从而造成重复消费的情况。

其实重复消费不可怕,可怕的是你没考虑到重复消费之后,怎么保证幂等性。假设你有个系统,消费一条往数据库里插入一条,要是你一个消息重复两次,不就插入了两条,这数据就错了。但是你要是消费到第二次的时候,自己判断一下已经消费过了,直接扔了,不就只保留了一条数据。

幂等性,通俗点说,就一个数据,或一个请求,给你重复来多次,你得确保对应的数据不会改变,不能出错。

重复消费问题的解决思路是:保证消息的唯一性,即使多次传输,也不让消息的多次消费带来影响,也就是保证消息等幂性;幂等性指一个操作执行任意多次所产生的影响均与一次执行的影响相同

具体解决方案如下:
(1)改造业务逻辑,使得在重复消费时也不影响最终的结果。例如对SQL语句: update t1 set money = 150 where id = 1 and money = 100; 做了个前置条件判断,即 money = 100 的情况下才会做更新,更通用的是做个 version 即版本号控制,对比消息中的版本号和数据库中的版本号。

(2)基于数据库的的唯一主键进行约束。消费完消息之后,到数据库中做一个 insert 操作,如果出现重复消费的情况,就会导致主键冲突,避免数据库出现脏数据。

(3)通过记录关键的key,当重复消息过来时,先判断下这个key是否已经被处理过了,如果没处理再进行下一步。. 生产者发送每条数据的时候,里面添加一个全局唯一的id, 消费者消费到消息后, 先根据消息id去redis中查询,如果redis不存在,就处理消息,然后将消息id写入redis。如果redis中存在,说明消息已经消费过,就不用处理。

① 通过数据库:比如处理订单时,记录订单ID,在消费前,去数据库中进行查询该记录是否存在,如果存在则直接返回。

② 使用全局唯一ID,再配合第三组主键做消费记录,比如使用 redis 的 set 结构,生产者发送消息时给消息分配一个全局ID,在每次消费者开始消费前,先去redis中查询有没有消费记录,如果消费过则不进行处理,如果没消费过,则进行处理,消费完之后,就将这个ID以k-v的形式存入redis中(过期时间根据具体情况设置)。


http://www.kler.cn/a/430576.html

相关文章:

  • 16 循环语句——for循环
  • Java包装类型的缓存
  • No.1免费开源ERP:Odoo自定义字段添加到配置页中的技术分享
  • linux 常用 Linux 命令指南
  • 层序遍历练习
  • KAFKA 权威指南笔记(一)究竟应该配置多少个BROKER?
  • zookeeper 搭建集群
  • 理解 CAP 理论:分布式系统中的权衡与选择 | 常用组件中的CP和AP
  • 48 基于单片机的LCD12864时间调控和串口抱站
  • 阿里云函数计算助力AI大模型快速部署
  • 孚盟云 MailAjax.ashx SQL注入漏洞复现
  • 解决 GitHub 22 端口被占用,改用 443 端口连接
  • 优化移动端H5:常见问题与解决方案
  • easyExcel实现表头批注
  • Plugin [id: ‘flutter‘] was not found in any of the following sources解决方法
  • FPGA 16 ,Verilog中的位宽:深入理解与应用
  • CVE-2021-25646:Apache Druid远程命令执行漏洞复现
  • Oracle RAC开启和关闭日志归档Log Archive
  • Docker实践和应用详解
  • DApp开发中的测试与调试方法详解
  • 「Mac畅玩鸿蒙与硬件43」UI互动应用篇20 - 闪烁按钮效果
  • MySQL 数据库底层原理解析
  • 【Vulkan入门】08-CreateRenderPass
  • 第四学期-智能数据分析-期末复习题
  • mysql高级篇 |尚硅谷 | 第1章_Linux下MySQL的安装与使用
  • nacos服务注册流程