当前位置: 首页 > article >正文

kafka生成者发送消息失败报错:RecordTooLargeException

 

kafka生成者发送消息典型案例

生产者 发送消息失败:Failed to send; nested exception is org.apache.kafka.common.errors.RecordTooLargeException: The message is 1053512 bytes when serialized which is larger than the maximum request size you have configured with the max.request.size configuration.

原因:序列化时,消息为1053512字节,大于您使用max.request.size配置配置的最大请求大小。

 

因kafka默认生成者发送消息的大小为:1048576 即为1M,当发送的消息大于1M的时候就会拒绝发送,导致生产者发送消息失败。

分析:

当在yml里面配置kafka打印详情日志发现,默认的大小的确为:1048576 即为1M

logging:
  level.org.apache.kafka: DEBUG

所以就要在yml里面配置大于1M的配置属性

spring:
  kafka:
    producer:
      properties:
        # 根据需求调整(例如设为 2MB) 2MB = 2 * 1024 * 1024
        max.request.size: 2097152

重启服务,即可发现日志有打印发送成功:生产者 发送消息成功:SendResult

kafka消费端对应也需要配置下,不然也会发送失败,在kafka配置文件config/server.properties下,新增配置如下:

message.max.bytes=2097152
replica.fetch.max.bytes=2097152

记得重启kafka服务


http://www.kler.cn/a/586328.html

相关文章:

  • MCU的工作原理:嵌入式系统的控制核心
  • Elasticsearch:语义文本 - 更简单、更好、更精炼、更强大 8.18
  • Hot100算法刷题:双指针
  • c# 利用mv-cs200-10gc工业相机,识别液注的高度
  • ubuntu-学习笔记-nextjs部署相关
  • QT:文件读取
  • Webpack优化前端性能
  • SQL--算术运算符
  • MATLAB风光柴储微网粒子群算法
  • Unity透视相机下屏幕坐标转世界坐标
  • 目前人工智能的发展,判断10年、20年后的人工智能发展的主要方向,或者带动的主要产业
  • PyTorch多机训练Loss不一致问题排查指南:基于算子级一致性验证
  • TGARS2024 | LGP | 面向目标检测的通用且可控攻击
  • Deepseek-R1 VS QwQ-32B 评测对比:文本理解与生成(2)
  • 计算机网络OSI七层模型
  • 专题|Python梯度提升实例合集:GBM、XGBoost、SMOTE重采样、贝叶斯、逻辑回归、随机森林分析信贷、破产数据...
  • 若依(RuoYi)前后端分离项目前端部署宝塔访问不到接口
  • 鸿蒙 @ohos.arkui.componentSnapshot (组件截图)
  • OpnenHarmony 开源鸿蒙北向开发——1.开发环境搭建(DevEco Studio 5.03)
  • Flutter嵌套问题解决方案