当前位置：首页 > article >正文

RocketMQ 底层实现原理

article 2024/11/14 4:48:16

文章目录

RocketMQ 底层实现原理
- RocketMQ 消息发送流程
- - 生产者发送消息
  - Broker 存储消息
  - 消费者拉取消息
- RocketMQ 内存管理机制
- - PageCache
  - ConsumeQueue
- RocketMQ 崩溃恢复机制
- - 消息队列偏移量
  - Checkpoint 文件
  - CommitLog 文件校验
- RocketMQ 操作实践

RocketMQ 底层实现原理

RocketMQ 是一款高性能、可扩展的分布式消息中间件，目前已经成为各大互联网公司的主流解决方案之一。本文将介绍 RocketMQ 的底层实现原理，以及如何使用 JAVA 语言对其进行操作和实践。

RocketMQ 消息发送流程

在 RocketMQ 中，消息的发送过程可以分为三个步骤：

生产者发送消息到 Broker；
Broker 将消息存储到磁盘，并将消息持久化到 CommitLog 和 IndexFile 中；
消费者从 Broker 拉取消息并进行消费。

生产者发送消息

生产者在发送消息时，首先需要与 NameServer 进行通信，获取相应的 Broker 列表。在获取到 Broker 地址后，生产者会向其中一个 Broker 发送消息。

RocketMQ 规定每个 Topic 可以有多个队列，生产者在向 Broker 发送消息时，需要将消息按照某种规则分配到指定的队列中。默认情况下，RocketMQ 使用轮询算法将消息平均地发送到所有队列中。

Broker 存储消息

Broker 存储消息时，首先将消息追加到 CommitLog 文件中。CommitLog 文件是 RocketMQ 设计的核心文件，其中记录了所有的消息内容，是消息存储的最终落地点。

在写入 CommitLog 文件时，RocketMQ 采用了一种叫做 MappedFile 的技术。MappedFile 是 Java NIO 中的一个类，可以将一个文件或文件片段映射到内存中，从而可以直接对内存中的数据进行读写操作。

除了 CommitLog 文件之外，RocketMQ 还维护了一个 IndexFile 文件用于快速查询消息。IndexFile 中记录了消息索引的偏移量以及消息的关键字，通过 IndexFile 可以快速定位到指定消息的位置。

消费者拉取消息

消费者在拉取消息时，首先需要向 Broker 请求消息。Broker 收到请求后，会根据消费者的 offset 值返回指定数量的消息。消费者消费完消息后，需要将 offset 提交给 Broker，以便下次拉取时可以继续从该位置开始消费。

RocketMQ 内存管理机制

RocketMQ 中有两个重要的缓存设计：PageCache 和 ConsumeQueue。

PageCache

PageCache 是 RocketMQ 的物理内存缓存，主要用于加速消息的读写操作。RocketMQ 使用内存映射技术将磁盘上的 CommitLog 文件映射到内存中，这样就可以实现快速的消息读写操作。

PageCache 中的内存空间是由 JVM 进程直接申请的，因此需要考虑内存的使用效率和回收效率。默认情况下，RocketMQ 将 PageCache 的大小设为物理内存的 40%。

ConsumeQueue

ConsumeQueue 可以看作是 RocketMQ 的逻辑内存缓存，主要用于消费者快速拉取消息和跟踪消息消费进度。每个 Topic 都有自己的 ConsumeQueue，用来存储该 Topic 的所有消息。

ConsumeQueue 中的每个消息都对应着一个索引项，记录了该消息在 CommitLog 文件中的偏移量和消息长度信息。当消费者向 Broker 请求消息时，Broker 会从对应的 ConsumeQueue 中读取消息索引信息，并根据索引信息去 CommitLog 中查询实际的消息内容。

RocketMQ 崩溃恢复机制

RocketMQ 采用了日志追加的方式进行消息存储。当 Broker 崩溃或重启时，可能会出现数据丢失或消息重复等情况。为了解决这些问题，RocketMQ 实现了多种崩溃恢复机制。

消息队列偏移量

RocketMQ 维护了每个消费者所消费的消息队列偏移量。当消费者重新启动时，可以通过之前保存的偏移量继续消费未消费的消息。

Checkpoint 文件

Checkpoint 文件用于记录 CommitLog 中最后一条消息的偏移量。当 Broker 发生异常情况导致崩溃时，Broker 再次启动时可以从 Checkpoint 文件中读取偏移量，从而定位到最近一次的消息读取位置。

CommitLog 文件校验

RocketMQ 中的 CommitLog 文件是顺序写入的，因此具有很好的一致性和可靠性。Broker 在写入每个消息之前都会计算消息的 CRC 校验码，用于检测文件数据的完整性和正确性。

RocketMQ 操作实践

以下是使用 JAVA 语言在 RocketMQ 中实现生产者和消费者的示例代码。通过该代码，可以实现在本地环境下发送消息和消费消息。

// 生产者示例代码
import org.apache.rocketmq.client.exception.MQClientException;
import org.apache.rocketmq.client.producer.DefaultMQProducer;
import org.apache.rocketmq.common.message.Message;
import org.apache.rocketmq.remoting.exception.RemotingException;

public class RocketMQProducerExample {
    public static void main(String[] args) throws MQClientException, InterruptedException, RemotingException {
        DefaultMQProducer producer = new DefaultMQProducer("producer_group");
        producer.setNamesrvAddr("localhost:9876");
        producer.start();

        Message message = new Message("test_topic", "Hello RocketMQ".getBytes());
        producer.send(message);

        producer.shutdown();
    }
}

// 消费者示例代码
import org.apache.rocketmq.client.consumer.DefaultMQPushConsumer;
import org.apache.rocketmq.client.consumer.listener.ConsumeConcurrentlyContext;
import org.apache.rocketmq.client.consumer.listener.MessageListenerConcurrently;
import org.apache.rocketmq.common.message.MessageExt;

import java.util.List;

public class RocketMQConsumerExample {
    public static void main(String[] args) throws Exception {
        DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("consumer_group");
        consumer.setNamesrvAddr("localhost:9876");
        consumer.subscribe("test_topic", "*");
        consumer.registerMessageListener((MessageListenerConcurrently) (msgs, context) -> {
            for (MessageExt msg : msgs) {
                System.out.println("Receive new message: " + new String(msg.getBody()));
            }
            return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
        });
        consumer.start();
    }
}