当前位置： 首页 > article >正文

RabbitMQ学习04

article 2024/11/13 9:57:00

文章目录

    • 发布确认
      • 1. 发布确认的原理
      • 2. 发布确认的策略
        • 2.1.开启发布确认的方法
        • 2.2.单个确认
        • 2.3.批量确认发布
        • 2.4.异步确认发布
        • 2.5.如何处理异步未确认消息
        • 2.6 总结：

发布确认

1. 发布确认的原理

    生产者将信道设置成 confirm 模式，一旦信道进入 confirm 模式，所有在该信道上面发布的消息都将会被指派一个唯一的 ID(从 1 开始)，一旦消息被投递到所有匹配的队列之后，broker就会发送一个确认给生产者(包含消息的唯一 ID)，这就使得生产者知道消息已经正确到达目的队列了，如果消息和队列是可持久化的，那么确认消息会在将消息写入磁盘之后发出，broker 回传给生产者的确认消息中 delivery-tag 域包含了确认消息的序列号，此外 broker 也可以设置basic.ack 的 multiple 域，表示到这个序列号之前的所有消息都已经得到了处理。
    confirm 模式最大的好处在于他是异步的，一旦发布一条消息，生产者应用程序就可以在等信道返回确认的同时继续发送下一条消息，当消息最终得到确认之后，生产者应用便可以通过回调方法来处理该确认消息，如果 RabbitMQ 因为自身内部错误导致消息丢失，就会发送一条 nack 消息，生产者应用程序同样可以在回调方法中处理该 nack 消息。

2. 发布确认的策略

2.1.开启发布确认的方法

    发布确认默认是没有开启的，如果要开启需要调用方法 confirmSelect，每当你要想使用发布确认，都需要在 channel 上调用该方法

Channel channel  = connection.createChannel();
channel.confirmSelect();
2.2.单个确认

    这是一种简单的确认方式，它是一种同步确认发布的方式，也就是发布一个消息之后只有它被确认发布，后续的消息才能继续发布,waitForConfirmsOrDie(long)这个方法只有在消息被确认的时候才返回，如果在指定时间范围内这个消息没有被确认那么它将抛出异常。
    这种确认方式有一个最大的缺点就是:发布速度特别的慢，因为如果没有确认发布的消息就会阻塞所有后续消息的发布，这种方式最多提供每秒不超过数百条发布消息的吞吐量。当然对于某些应用程序来说这可能已经足够了。

    /**
     * 1.单个发布确认
     * @throws Exception
     */
    public static void publishMessageIndividually() throws Exception{

        Channel channel = RabbitMQUtils.getChannel();
        //队列的声明
        String queueName = UUID.randomUUID().toString();
        channel.queueDeclare(queueName,true,false,false,null);
        //开启发布确认
        channel.confirmSelect();
        //开启时间
        long begin = System.currentTimeMillis();

        //批量发消息
        for (int i = 0; i < MESSAGE_COUNT; i++) {
            String message = i + "";
            channel.basicPublish("",queueName,null,message.getBytes());
            boolean flag = channel.waitForConfirms();
            if (flag){
                System.out.println("消息发送成功");
            }
        }

        //结束时间
        long end = System.currentTimeMillis();

        System.out.println("发布" + MESSAGE_COUNT + "条消息，用时：" + (end - begin) + "ms");
    }

测试结果：
发布1000条消息，用时：455ms

2.3.批量确认发布

    上面那种方式非常慢，与单个等待确认消息相比，先发布一批消息然后一起确认可以极大地提高吞吐量，当然这种方式的缺点就是:当发生故障导致发布出现问题时，不知道是哪个消息出现问题了，我们必须将整个批处理保存在内存中，以记录重要的信息而后重新发布消息。当然这种方案仍然是同步的，也一样阻塞消息的发布。

/**
     * 批量发布确认
     */
    public static void publishMessageBatch() throws Exception{

        Channel channel = RabbitMQUtils.getChannel();
        //队列的声明
        String queueName = UUID.randomUUID().toString();
        channel.queueDeclare(queueName,true,false,false,null);
        //开启发布确认
        channel.confirmSelect();
        //开启时间
        long begin = System.currentTimeMillis();

        //批量确认消息大小
        int batchSize = 100;


        //批量发消息
        for (int i = 0; i < MESSAGE_COUNT; i++) {
            String message = i + "";
            channel.basicPublish("",queueName,null,message.getBytes());
            if (i % batchSize == 99){
                boolean flag = channel.waitForConfirms();
                if (flag){
                    System.out.println("消息发送成功");
                }
            }
        }
        
        //结束时间
        long end = System.currentTimeMillis();

        System.out.println("发布" + MESSAGE_COUNT + "条消息，用时：" + (end - begin) + "ms");
    }

测试结果：
发布1000条消息，用时：62ms

2.4.异步确认发布

    异步确认虽然编程逻辑比上两个要复杂，但是性价比最高，无论是可靠性还是效率都没得说，他是利用回调函数来达到消息可靠性传递的，这个中间件也是通过函数回调来保证是否投递成功，下面就让我们来详细讲解异步确认是怎么实现的。
在这里插入图片描述

/**
     * 异步发布确认
     */

    public static void publishMessageAsync() throws Exception{

        Channel channel = RabbitMQUtils.getChannel();
        //队列的声明
        String queueName = UUID.randomUUID().toString();
        channel.queueDeclare(queueName,true,false,false,null);
        //开启发布确认
        channel.confirmSelect();
        //开启时间
        long begin = System.currentTimeMillis();

        ConfirmCallback ackCallback = (deliveryTag,multiple) -> {
            System.out.println("确认消息" + deliveryTag);
        };
        /**
         * 1.消息的表示
         * 2.是否为批量
         */
        ConfirmCallback nackCallback = (deliveryTag,multiple) -> {
            System.out.println("未确认消息：" + deliveryTag);
        };
        //准备消息监听器
        /**
         * 1.成功的消息
         * 2.失败的消息
         */
        channel.addConfirmListener(ackCallback,nackCallback);


        //批量发布消息
        for (int i = 0; i < MESSAGE_COUNT; i++) {
            String message = i + "";
            channel.basicPublish("",queueName,null,message.getBytes());

        }

        //结束时间
        long end = System.currentTimeMillis();

        System.out.println("发布" + MESSAGE_COUNT + "条消息，用时：" + (end - begin) + "ms");
    }

测试结果：
发布1000条消息，用时：28ms

2.5.如何处理异步未确认消息

    最好的解决的解决方案就是把未确认的消息放到一个基于内存的能被发布线程访问的队列，比如说用 ConcurrentLinkedQueue 这个队列在 confirm callbacks 与发布线程之间进行消息的传递。

    /**
    * 异步发布确认
    */

   public static void publishMessageAsync() throws Exception{

       Channel channel = RabbitMQUtils.getChannel();
       //队列的声明
       String queueName = UUID.randomUUID().toString();
       channel.queueDeclare(queueName,true,false,false,null);
       //开启发布确认
       channel.confirmSelect();
       //开启时间
       long begin = System.currentTimeMillis();
       /**
        * 线程安全有序的一个哈希表  适用于高并发场景
        * 1.他能轻松的将序号与消息关联
        * 2.批量删除条数  只要给到序号
        * 3.支持高并发（多线程）
        *
        */
       ConcurrentSkipListMap<Long,String> outStandingConfirms =
               new ConcurrentSkipListMap<>();
       
       ConfirmCallback ackCallback = (deliveryTag,multiple) -> {
           if (multiple){
               //2.删除到已经确认的消息，剩下的就是未确认的消息
               ConcurrentNavigableMap<Long, String> confirmed =
                       outStandingConfirms.headMap(deliveryTag);
               confirmed.clear();
           }else {
               outStandingConfirms.remove(deliveryTag);
           }
           System.out.println("确认消息" + deliveryTag);
       };
       /**
        * 1.消息的表示
        * 2.是否为批量
        */
       ConfirmCallback nackCallback = (deliveryTag,multiple) -> {
           //3.打印未确认的消息
           String message = outStandingConfirms.get(deliveryTag);
           System.out.println("未确认消息：" + message);
       };
       //准备消息监听器
       /**
        * 1.成功的消息
        * 2.失败的消息
        */
       channel.addConfirmListener(ackCallback,nackCallback);


       //批量发布消息
       for (int i = 0; i < MESSAGE_COUNT; i++) {
           String message = i + "";
           channel.basicPublish("",queueName,null,message.getBytes());
           // TODO: 1.记录下所有要发送的消息，消息的总和
           outStandingConfirms.put(channel.getNextPublishSeqNo(),message);

       }

       //结束时间
       long end = System.currentTimeMillis();

       System.out.println("发布" + MESSAGE_COUNT + "条消息，用时：" + (end - begin) + "ms");
   }
2.6 总结：

单独发布消息：
同步等待确认，简单，但吞吐量非常有限。
批量发布消息：
批量同步等待确认，简单，合理的吞吐量，一旦出现问题但很难推断出是哪条消息出现了问题。
异步处理：
最佳性能和资源使用，在出现错误的情况下可以很好地控制，但是实现起来稍微难些


http://www.kler.cn/a/109050.html

相关文章：

  • 基于BILSTM及其他RNN序列模型的人名分类器
  • 华为大咖说 | 浅谈智能运维技术
  • 【C++】详解RAII思想与智能指针
  • 【ubuntu】单进程申请4GB内存
  • 吴恩达机器学习笔记（3）
  • 漏洞挖掘 | 某医院小程序支付漏洞+越权
  • conda: error: argument COMMAND: invalid choice: ‘activate‘
  • 阿里云2023年双11活动时间、活动入口、活动内容详细解读
  • 程序化交易(二)level2行情数据源接入
  • LeetCode题：88合并两个有序数组，283移动零，448找到所有数组中消失的数字
  • idea 没加载 provided的包
  • GoLong的学习之路（十二）语法之标准库 flag的使用
  • LeetCode 125 验证回文串 简单
  • stream流—关于Collectors.toMap使用详解
  • Ubuntu服务器中java -jar 后台运行Spring Boot项目
  • 精通Nginx（01）-产品概览
  • 物联网数据采集网关连接设备与云平台的关键桥梁
  • calloc、malloc、realloc函数的区别及用法
  • 【力扣SQL】几个常见SQL题
  • 并发编程
  • uniapp开发小程序—根据生日日期计算年龄 周岁
  • 【自动驾驶】Free space与Ray casting
  • SpringBoot面试题8：运行 Spring Boot 有哪几种方式？Spring Boot 需要独立的容器运行吗？
  • ubuntu 18 更新git版本到 2.80.1
  • 深度学习之轻量级神经网络在TWS蓝牙音频处理器上的部署
  • 求二进制最低位1和最高位1的方法，以及反转二进制，复杂度O(1)