当前位置： 首页 > article >正文

20250106面试

article 2025/1/8 17:47:58

rabbitmq如何保证消息不丢失

my：

持久化，包括消息持久化和队列持久化，重启不丢失。持久化到磁盘中的。

消息确认

死信队列：消费失败（业务异常/未确认，重试后，会放死信队列），TTL，满了

集群+队列镜像，即使一个节点挂了，其他节点还有数据，不会丢失。

重试

---

在 RabbitMQ 中，确保消息不丢失通常涉及多个层次的配置和实践，主要包括消息持久化、队列持久化、确认机制以及合理的高可用配置。下面是确保消息不丢失的几种常见方法：

1. 消息持久化（Message Durability）

RabbitMQ 默认情况下将消息存储在内存中，这意味着如果 RabbitMQ 守护进程崩溃，消息可能会丢失。为了避免这种情况，你需要将消息持久化到磁盘。

  • 消息持久化：在发送消息时，设置消息的 delivery_mode 属性为 2，表示消息应该被持久化到磁盘。

     
    python
     channel.basic_publish( exchange='', routing_key='queue_name', body='Hello World!', properties=pika.BasicProperties( delivery_mode=2 # 使消息持久化 ) ) 
  •  
    队列持久化：即使消息本身被持久化，如果队列本身没有设置持久化，RabbitMQ 在重启时仍然会丢失队列。为了避免这种情况，你需要确保队列本身也是持久化的。
     
    创建持久化队列的示例（使用 durable=True）：
     
     
    python
     channel.queue_declare(queue='queue_name', durable=True)  
    这确保了即使 RabbitMQ 重启，队列也不会丢失。
     
 

2. 交换器持久化（Exchange Durability）
 

为了确保交换器不丢失，在创建交换器时，也需要将其持久化。你可以通过将 durable=True 设置为交换器的属性来确保其持久化：
 

 

python
 

channel.exchange_declare(exchange='my_exchange', exchange_type='direct', durable=True) 
 

3. 消费者确认机制（Message Acknowledgement）
 

消费者需要显式确认消息已经被正确处理，否则消息会被重新投递。如果消费者没有确认消息，而 RabbitMQ 又没有收到 ACK 确认，则消息会在队列中保留，直到消费者处理完并确认。
 

  •  
    自动确认：如果 auto_ack 设置为 True，RabbitMQ 会认为消息已经被消费者处理，无论消费者是否处理成功。这会导致消息丢失的风险。
     
     
    python
     channel.basic_consume(queue='queue_name', on_message_callback=callback, auto_ack=True)  
    上面的设置是不安全的，因为它不能保证消息已经被处理。
     
  •  
    手动确认：最安全的做法是关闭 auto_ack，并在消费者处理完消息后手动发送 ack 确认消息。
     
     
    python
     def callback(ch, method, properties, body): print(f"Received message: {body}") ch.basic_ack(delivery_tag=method.delivery_tag) # 手动确认消息  
    使用 basic_ack 进行消息确认，确保消息在消费者成功处理后才从队列中移除。
     
    你还可以设置 basic_nack 来拒绝消息并让它重新入队，避免消息丢失。
     
 

4. 未确认消息的处理（Dead Letter Exchange, DLX）
 

RabbitMQ 支持死信队列（Dead Letter Queue, DLX），即如果某个消息无法被消费者处理，可以将它放到另外一个队列，避免丢失。
 

配置死信队列（DLX）示例：
 

 

python
 

channel.queue_declare(queue='main_queue', durable=True, arguments={ 'x-dead-letter-exchange': 'dlx_exchange' }) channel.queue_declare(queue='dlx_queue', durable=True) 
 

如果消息在主队列中被拒绝或过期，消息将会被送到 dlx_queue 中。
 

5. 高可用集群（Mirrored Queues）
 

为了避免单点故障，RabbitMQ 提供了集群和镜像队列（Mirrored Queues）功能，可以将消息复制到多个节点上。即使一个节点发生故障，消息也不会丢失，因为它已经被镜像到其他节点。
 

  • 镜像队列：镜像队列可以确保消息在多个 RabbitMQ 节点之间保持同步，这样即使一个节点崩溃，其他节点仍然可以提供服务。
 

 

python
 

channel.queue_declare(queue='queue_name', durable=True, arguments={ 'x-queue-type': 'quorum' # 使用 Quorum 队列提高消息可靠性 }) 
 

quorum 队列比传统的镜像队列提供更高的可靠性，适用于需要高可靠性的场景。
 

6. 事务机制（Transactional Publisher）
 

虽然事务机制可以确保消息在提交之前不丢失，但它的性能较低，一般不推荐用于高吞吐量的生产环境。可以通过将消息发布到事务中来确保消息的持久化。
 

 

python
 

channel.tx_select() # 开始事务 try: channel.basic_publish(...) channel.tx_commit() # 提交事务 except: channel.tx_rollback() # 回滚事务 
 

7. 消息重试（Message Retry）
 

如果消费者无法处理消息（比如遇到临时问题），可以使用 消息重试机制（例如通过延时队列）来确保消息最终能够被处理，而不是直接丢失。
 

RabbitMQ 本身不直接提供消息重试功能，但你可以通过将消息重新发送到队列、设置消息的 x-delayed-message 属性，或者使用死信队列和延时插件来实现消息的重试机制。
 

总结
 

在 RabbitMQ 中，要保证消息不丢失，通常需要结合以下几个方面的配置：
 

  1. 持久化消息：设置消息 delivery_mode=2 使其持久化。
  2. 持久化队列和交换器：确保队列和交换器也都是持久化的。
  3. 消费者确认：确保消费者在处理完消息后发出确认（ack）。
  4. 高可用架构：使用镜像队列和集群来防止单点故障。
  5. 死信队列（DLX）和消息重试：使用死信队列和延时队列来确保消息不会因为暂时的处理失败而丢失。
 

通过结合这些策略，可以显著降低消息丢失的风险，并提高 RabbitMQ 系统的可靠性。
 

jvm调优，内存怎么分配，8G内存
 

在JVM调优过程中，合理分配内存是关键。Java应用的性能往往受到JVM内存分配策略的影响，尤其是当内存资源有限时。对于一个8GB的物理内存系统，如何合理配置JVM内存参数，可以有效避免内存溢出、频繁GC、长时间停顿等问题。
 

JVM内存的主要区域
 

JVM内存主要分为以下几个区域，每个区域的大小和管理方式都需要合理配置：
 

  1.  
    堆内存（Heap Memory）
     
  
    • 负责存储对象实例、数组等动态分配的内存。
    • 年轻代（Young Generation）：用于存放新创建的对象。大部分对象在年轻代中迅速死亡，经过垃圾回收后会被清除。
    • 老年代（Old Generation）：存放存活较长时间的对象。当年轻代无法容纳更多对象时，存活的对象会被晋升到老年代。
    • 永久代（PermGen） / 元空间（Metaspace）：用于存放类的元数据（如类的结构信息）。在JVM 8以后，永久代被元空间取代，元空间使用本地内存而非JVM堆内存。
  2.  
    非堆内存（Non-Heap Memory）
     
  
    • 包括方法区、代码缓存、JVM内部的数据结构等。
 

8GB内存系统的JVM内存分配方案
 

对于一个总内存为 8GB 的物理内存系统，我们需要合理地分配给JVM的内存，确保既能提供足够的内存空间，又能避免超出物理内存限制导致的系统负载过高。
 

通常，8GB内存的机器可以将 JVM堆内存 配置为 4GB-6GB，留出一部分内存给操作系统和其他进程。以下是一个常见的配置方案：
 

JVM内存调优示例（假设使用8GB内存的机器）
 

  1.  
    最大堆内存：
     
  
    • 设置最大堆内存为4GB。
     
    bash
     -Xmx4g 
  2.  
    初始堆内存：
     
  
    • 设置初始堆内存为2GB。这有助于提高程序启动时的性能，但过大的初始堆可能会浪费内存。
     
    bash
     -Xms2g 
  3.  
    年轻代内存设置：
     
  
    • 年轻代内存大小可以通过 -Xmn 参数设置，建议设置为堆内存的 1/3 左右，具体可以根据应用的实际需求调整。例如，将年轻代大小设置为1GB：
     
    bash
     -Xmn1g 
  4.  
    老年代内存设置：
     
  
    • 老年代内存的大小是通过调整堆的总大小和年轻代的大小来间接控制的。通常，老年代内存占堆的剩余部分。例如，设置最大堆内存为4GB，年轻代为1GB，那么老年代将是3GB。
  5.  
    PermGen / Metaspace 设置（JVM 8之后使用Metaspace）：
     
  
    • 如果使用JVM 8及以上版本，PermGen 已被 Metaspace 取代。Metaspace 的默认大小是动态增长的，但我们可以通过以下参数调整其大小：
     
    bash
     -XX:MaxMetaspaceSize=256m -XX:MetaspaceSize=128m 
  6.  
    垃圾回收器选择：
     
  
    • 如果需要优化垃圾回收的性能，可以根据应用的需求选择不同的垃圾回收器。例如，使用 G1 GC 或 CMS 来减少停顿时间。
    • 启用 G1 GC：
     
    bash
     -XX:+UseG1GC 
 

其他相关JVM内存配置
 

  •  
    线程栈大小：每个线程会消耗一定的内存，用于保存栈帧。可以通过 -Xss 来调整每个线程的栈大小。默认值通常为1MB，对于线程较多的应用，可以适当调低栈大小以节省内存。
     
     
    bash
     -Xss512k 
  •  
    GC日志输出：调优过程中，查看GC日志能帮助我们分析和优化内存使用。可以通过以下参数输出GC日志：
     
     
    bash
     -Xlog:gc*:file=gc.log 
 

具体的调优案例
 

假设我们有一台具有8GB内存的服务器，并且应用程序需要稳定的响应时间和低延迟。我们可以使用以下JVM参数进行调优：
 

 

bash
 

java -Xms2g -Xmx4g -Xmn1g -XX:+UseG1GC -XX:MaxMetaspaceSize=256m -XX:MetaspaceSize=128m -Xss512k -Xlog:gc*:file=gc.log -jar myapp.jar 
 

这个配置做了以下优化：
 

  • 设置初始堆内存为2GB，最大堆内存为4GB，年轻代为1GB，确保有足够的内存空间。
  • 使用 G1 GC 来优化垃圾回收性能，避免长时间的Stop-the-World停顿。
  • 设置 Metaspace 内存限制，避免类加载和卸载时占用过多内存。
  • 限制每个线程的栈大小为512KB，减少线程栈内存占用。
 

调优原则
 

  1. 尽量保证堆内存不超出物理内存的一半：如果堆内存过大，会导致频繁的GC，或者直接导致 OutOfMemoryError。理想的堆内存配置是物理内存的50%-75%。
  2. 考虑操作系统和其他进程的内存占用：不要将JVM的内存配置得过大，否则操作系统和其他应用会受到影响。
  3. 选择合适的垃圾回收器：对于大部分高性能应用，G1 GC 是推荐的选择，它提供了较为平衡的延迟和吞吐量。对于低延迟要求的应用，也可以考虑 ZGC 或 Shenandoah。
  4. 监控和分析：定期通过 GC 日志或其他性能监控工具（如 VisualVM 或 JConsole）来观察内存的使用情况，并根据实际运行情况进行调整。
 

总结
 

在8GB内存的机器上为JVM分配内存时，建议将堆内存设置为2GB-4GB，具体的配置需要根据应用的需求进行调整。合理设置年轻代、老年代、PermGen（或Metaspace）等内存区域的大小，选择适合的垃圾回收器，并优化线程栈大小，可以有效提升Java应用的性能并减少内存问题。
 

分布式事务解决方案：
 

比如在一个方法中涉及：订单 商品 库存
 

mq
 

补偿兜底
 

job补偿：分别查询订单，商品，库存，根据订单号，对比哪个缺了
 

Eureka原理
 

redis事务
 

垃圾回收：标记清理
 

redis clustomer节点挂了，如何防止数据丢失
 

设置过期时间大于，主从同步间隔时间，缩短这个时间
 

redis不设置从节点
 


                

        

				
				

					

					http://www.kler.cn/a/470334.html
					
				

                

                  
相关文章：

				  
                        

  • 【Python】基于blind-watermark库添加图片盲水印 
    • 


  • 基于SMT32U575RIT单片机-中断练习 
    • 


  • Leecode刷题C语言之按键变更的次数 
    • 


  • 企业国外传输大文件到国内该怎么做？ 
    • 


  • [Linux]Mysql9.0.1服务端脱机安装配置教程(redhat) 
    • 


  • 03、MySQL安全管理和特性解析(DBA运维专用) 
    • 

                      
  • 
                        R语言的计算机基础
                      
    • 
                    
                      
  • 
                        HTML 显示器纯色亮点检测工具
                      
    • 
                    
                      
  • 
                        Chapter4.1 Coding an LLM architecture
                      
    • 
                    
                      
  • 
                        CentOS Stream 9上安装配置NFS
                      
    • 
                    
                      
  • 
                        HarmonyOS UIAbility 生命周期与窗口管理实践
                      
    • 
                    
                      
  • 
                        C/C++：按照C的顺序，看汇编语言程序是乱序
                      
    • 
                    
                      
  • 
                        Linux（17）——使用 DNF 安装和更新软件包
                      
    • 
                    
                      
  • 
                        25年01月HarmonyOS应用基础认证最新题库
                      
    • 
                    
                      
  • 
                        最新最详细的配置Node.js环境教程
                      
    • 
                    
                      
  • 
                        在Java中使用有符号类型模拟无符号整数的技巧
                      
    • 
                    
                      
  • 
                        iOS - 原子操作
                      
    • 
                    
                      
  • 
                        使用EasyRec优化搜索广告推荐深度学习排序模型的性能
                      
    • 
                    
                      
  • 
                        探索Java中的对称加密：AES算法与CBC模式的安全实践
                      
    • 
                    
                      
  • 
                        Could not resolve host: mirrorlist.centos.org
                      
    • 
                    
                      
  • 
                        服务器双网卡NCCL通过交换机通信
                      
    • 
                    
                      
  • 
                        抖音生活服务商系统源码如何搭建？
                      
    • 
                    
                      
  • 
                        asp.net core mvc中的模板页（父页面，布局页）和部分视图（Partial View）
                      
    • 
                    
                      
  • 
                        Go语言的 的编程环境（programming environment）核心知识
                      
    • 
                    
                      
  • 
                        C++ Qt练习项目 QSpinBox和QDoubleSpinBos 未完待续
                      
    • 
                    
                      
  • 
                        小程序与物联网（IoT）融合：开启智能生活新篇章
                      
    •