当前位置: 首页 > article >正文

filebeat报错dropping too large message of size

filebeat报错:

dropping too large message of size 1714620.

原因:

kafka对每一条消息的大小进行了限制。

解决

kafka端

修改config/server.properties,添加以下配置

max_message_bytes=10000000
replica.fetch.max.bytes=10000000

修改后重启kafka

filebeat端

修改filebeat.yaml,添加以下配置
max_message_bytes: 10000000

output.kafka:
  hosts: ["kafka1:9092","kafka2:9092","kafka3:9092"]
  topic: 'topiclog'
  max_message_bytes: 10000000
  required_acks: -1

添加后重启filebeat


http://www.kler.cn/a/153095.html

相关文章:

  • 2023.11.27 关于 Mybatis 增删改操作
  • informer 辅助笔记:main_informer.py
  • Elastic Search
  • 如何解决SSL证书部署后未生效或网站显示不安全
  • React实现登录授权功能
  • 智慧导诊系统的应用和实现技术分析
  • DM8数据库版本升级
  • 字节原来这么容易进,是面试官放水,还是公司实在是太缺人?
  • threejs教程
  • 对外汉语教师简历(精选12篇)
  • 【动态规划】LeetCode-面试题08.01三步问题
  • Ubuntu镜像与K8S冲突,容器持续Terminating
  • 从公务员考试中学诗词:东边日出西边雨,道是无晴却有晴
  • AdWords 广告字符的限制是多少?
  • 自定义函数中的(int*a,int*b)与(int*a,int n)
  • String类 ---java
  • 高清动态壁纸软件Live Wallpaper Themes 4K mac中文版功能
  • matlab基于线性二次调节器(LQR)法实现机器人路径规划可变轨迹跟踪
  • Java面向对象第十天
  • HarmonyOs 4 (三) ArkTS语言