当前位置： 首页 > article >正文

Mac M1 Docker创建Rocketmq集群并接入Springboot项目

article 2024/11/6 21:09:52

文章目录

    • 前言
    • Docker创建rocketmq集群
      • 创建rocketmq目录
      • 创建docker-compose.yml
      • 新增broker.conf文件
      • 启动容器
    • Springboot 接入 rocketmq
      • 配置maven依赖
      • 修改appplication.yml
      • 新增消息生产者
      • 新增消费者
      • 测试发送消息
    • 总结

前言

最近公司给配置了一台mac，正好有时间给装一个开发环境后面使用。刚好最近的项目需要用到rocketmq，这不就用docker安装了一个rocketmq本地环境进行测试使用。由于此时mac m1芯片，很多的镜像都不能用，就连apache下的镜像启动容器都报不兼容。所以，本人在网上找了很久发现这个镜像可以使用。为了保证安装集群的简便特意使用了docker-compos进行部署，请各位大大敬请鉴赏。

Docker创建rocketmq集群

创建rocketmq目录

在这里插入图片描述

如图所示我直接建立三个空文件夹conf、logs、store来保存mq数据。

创建docker-compose.yml

我们直接在mq目录下创建docker-compose.yml ，文件内容如下：

version: '3.5'
services:
  rmqnamesrv:
    image: foxiswho/rocketmq:server
    container_name: rmqnamesrv
    ports:
      - 9876:9876
    volumes:
      - ./logs:/opt/logs
      - ./store:/opt/store
    networks:
        rmq:
          aliases:
            - rmqnamesrv
  rmqbroker:
    image: foxiswho/rocketmq:broker
    container_name: rmqbroker
    ports:
      - 10909:10909
      - 10911:10911
    volumes:
      - ./logs:/opt/logs
      - ./store:/opt/store
      - ./conf/broker.conf:/etc/rocketmq/broker.conf
    environment:
        NAMESRV_ADDR: "rmqnamesrv:9876"
        JAVA_OPTS: " -Duser.home=/opt"
        JAVA_OPT_EXT: "-server -Xms128m -Xmx128m -Xmn128m"
    command: mqbroker -c /etc/rocketmq/broker.conf
    depends_on:
      - rmqnamesrv
    networks:
      rmq:
        aliases:
          - rmqbroker

  rmqconsole:
    image: styletang/rocketmq-console-ng
    container_name: rmqconsole
    ports:
      - 8090:8080 ## 可以自己修改端口号，我这里改成不常用的8090
    environment:
        JAVA_OPTS: "-Drocketmq.namesrv.addr=rmqnamesrv:9876 -Dcom.rocketmq.sendMessageWithVIPChannel=false"
    depends_on:
      - rmqnamesrv
    networks:
      rmq:
        aliases:
          - rmqconsole

networks:
  rmq:
    name: rmq
    driver: bridge

新增broker.conf文件

在conf文件夹下新增一个broker.conf，文件内容写入下面配置：

# Licensed to the Apache Software Foundation (ASF) under one or more
# contributor license agreements.  See the NOTICE file distributed with
# this work for additional information regarding copyright ownership.
# The ASF licenses this file to You under the Apache License, Version 2.0
# (the "License"); you may not use this file except in compliance with
# the License.  You may obtain a copy of the License at
#
#     http://www.apache.org/licenses/LICENSE-2.0
#
#  Unless required by applicable law or agreed to in writing, software
#  distributed under the License is distributed on an "AS IS" BASIS,
#  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
#  See the License for the specific language governing permissions and
#  limitations under the License.


# 所属集群名字
brokerClusterName=DefaultCluster

# broker 名字，注意此处不同的配置文件填写的不一样，如果在 broker-a.properties 使用: broker-a,
# 在 broker-b.properties 使用: broker-b
brokerName=broker-a

# 0 表示 Master，> 0 表示 Slave
brokerId=0

# nameServer地址，分号分割
# namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876

# 启动IP,如果 docker 报 com.alibaba.rocketmq.remoting.exception.RemotingConnectException: connect to <:10909> failed
# 解决方式1 加上一句 producer.setVipChannelEnabled(false);，解决方式2 brokerIP1 设置宿主机IP，不要使用docker 内部IP
brokerIP1=www.senfel.com

# 在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4

# 是否允许 Broker 自动创建 Topic，建议线下开启，线上关闭 ！！！这里仔细看是 false，false，false
autoCreateTopicEnable=true

# 是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true

# Broker 对外服务的监听端口
listenPort=10911

# 删除文件时间点，默认凌晨4点
deleteWhen=04

# 文件保留时间，默认48小时
fileReservedTime=120

# commitLog 每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824

# ConsumeQueue 每个文件默认存 30W 条，根据业务情况调整
mapedFileSizeConsumeQueue=300000

# destroyMapedFileIntervalForcibly=120000
# redeleteHangedFileInterval=120000
# 检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
# 存储路径
# storePathRootDir=/home/ztztdata/rocketmq-all-4.1.0-incubating/store
# commitLog 存储路径
# storePathCommitLog=/home/ztztdata/rocketmq-all-4.1.0-incubating/store/commitlog
# 消费队列存储
# storePathConsumeQueue=/home/ztztdata/rocketmq-all-4.1.0-incubating/store/consumequeue
# 消息索引存储路径
# storePathIndex=/home/ztztdata/rocketmq-all-4.1.0-incubating/store/index
# checkpoint 文件存储路径
# storeCheckpoint=/home/ztztdata/rocketmq-all-4.1.0-incubating/store/checkpoint
# abort 文件存储路径
# abortFile=/home/ztztdata/rocketmq-all-4.1.0-incubating/store/abort
# 限制的消息大小
maxMessageSize=65536

# flushCommitLogLeastPages=4
# flushConsumeQueueLeastPages=2
# flushCommitLogThoroughInterval=10000
# flushConsumeQueueThoroughInterval=60000

# Broker 的角色
# - ASYNC_MASTER 异步复制Master
# - SYNC_MASTER 同步双写Master
# - SLAVE
brokerRole=ASYNC_MASTER

# 刷盘方式
# - ASYNC_FLUSH 异步刷盘
# - SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH

# 发消息线程池数量
# sendMessageThreadPoolNums=128
# 拉消息线程池数量
# pullMessageThreadPoolNums=128

注意：如果我们在broker.conf中配置了域名，修改了本地的hosts映射，将IP映射到www.senfel.com，就可以直接使用域名访问了。

启动容器

直接在docker-compose.yml文件所在的位置输入命令docker-compose up即可启动
再查看我们的Docker Desktop就会发现RocketMQ已经配置好了
在这里插入图片描述

在浏览器中输入http://localhost:8090/即可看到管理页面
在这里插入图片描述

至此，docker安装rocketmq完成。

Springboot 接入 rocketmq

配置maven依赖

<dependency>
    <groupId>org.apache.rocketmq</groupId>
    <artifactId>rocketmq-spring-boot-starter</artifactId>
    <version>2.2.3</version>
</dependency>

修改appplication.yml

rocketmq:
  # NameServer
  name-server: 127.0.0.1:9876
  producer:
    # 发送消息超时时间，默认3000
    send-message-timeout: 30000

新增消息生产者

为了模拟我直接用请求触发

@Resource
private RocketMQTemplate rocketMQTemplate;

/**
 * 模拟发送消息
 * @param msg
 * @author senfel
 * @date 2024/11/6 15:36 
 * @return org.apache.rocketmq.client.producer.SendResult
 */
@GetMapping("/send")
public SendResult sendMessage(String msg) {
    Message<GigyaSyncIdMessage> msgs = MessageBuilder.withPayload(new GigyaSyncIdMessage(msg)).build();
    SendResult sendResult = rocketMQTemplate.syncSend(CommonConstant.GIGYA_TOPIC, msgs);
    return sendResult;
}

新增消费者

模拟一个 消费者

/**
 * gigya同步id消费者
 * @author senfel
 * @date 2024/11/06 15:39
 */
@Component
@RocketMQMessageListener(consumerGroup = CommonConstant.ROCKETMQ_DEFAULT_CONSUMER_GROUP, topic = CommonConstant.GIGYA_TOPIC)
@Slf4j
public class GigyaSyncIdConsumer implements RocketMQListener<GigyaSyncIdMessage> {

    @Resource
    VisitorGigyaMappingService visitorGigyaMappingService;
    @Override
    public void onMessage(GigyaSyncIdMessage message) {
        try{
            log.info("Received GigyaSyncIdMessage : {}" , message);
            //业务代码
        }catch (Exception e){
            log.error("处理GigyaSyncIdMessage消息失败,消息体为：{}，详情为：{}",JSONObject.toJSONString(message),e.getMessage());
        }
    }
}

测试发送消息

postman调用接口模拟发送消息

在这里插入图片描述

查看消费者是否消费消息
在这里插入图片描述

查看mq控制台

在这里插入图片描述

在这里插入图片描述

至此springboot接入rocketmq完成。

总结

Mac M1上用Docker部署Rocketmq集群还是比较简单，我们只需要安装好docker在选择好适合自己机器芯片的镜像，再编写好docker-compose即可。在Springboot集成Rocketmq方面，我们直接可以引入相关依赖写入mq配置信息，直接在 项目中编写消费者和生产者即可。总的来说，还是比较好上手的。


http://www.kler.cn/a/382054.html

相关文章：

  • 计算机前沿技术-人工智能算法-大语言模型-最新研究进展-2024-11-01
  • AI驱动无人驾驶：安全与效率能否兼得？
  • 跨平台Flutter 、ReactNative 开发原理
  • 双向链表及如何使用GLib的GList实现双向链表
  • 关于vue如何监听route和state以及各自对应的实际场景
  • 【大数据学习 | kafka】kafka的偏移量管理
  • 《Keras3 深度学习初探：开启Keras3 深度学习之旅》
  • 关注AI技术的应用前景，抓住未来科技发展的机遇！
  • 闪存学习_2：Flash-Aware Computing from Jihong Kim
  • 蓝桥杯练习笔记（二十-日期问题）
  • Docker篇（数据卷）
  • GaussDB的向量化处理技术
  • uniapp推送配置流程
  • 高科技行业知识库搭建：驱动创新与效率的双引擎
  • 【大咖云集，院士出席 | ACM独立出版】第四届大数据、人工智能与风险管理国际学术会议 (ICBAR 2024，11月15-17日)--冬季主会场
  • AWTK-WEB 新版改动细节
  • 一篇文章理解CSS垂直布局方法
  • 【nlp】USAD异常检测
  • RabbitMQ 七种工作模式介绍
  • SpringBoot旋律：打造现代Web音乐平台
  • UE5 材质篇 1 如何偏移顶点
  • Linux云计算 |【第五阶段】PROJECT3-DAY1
  • Rust 力扣 - 2461. 长度为 K 子数组中的最大和
  • 部署Prometheus、Grafana、Zipkin、Kiali监控度量Istio
  • mac 修改启动图图标数量
  • Docker部署Meta-Llama-3.1-70B-Instruct API openai格式，vLLM速度对比