当前位置: 首页 > article >正文

29 kafka动态配置

为什么需要动态配置

线上运行的kafka broker修改配置需要重启的话,影响比较大。需要一个不需要重启就能使参数生效的功能

使用的场景

配置优先级:
per-broker参数 > cluster-wide参数 > static参数 > 默认参数

1.动态调整network线程数和工作线程数来扩缩容
2.修改日志的留存时间。不可能完美预估所有业务的消息留存时长
3.ssl相关参数。能创建过期时间很短的SSL证书,调整时kafka会重新配置socket连接并更新keystore,新的连接会使用新的keystore。
kafka如何使用的ssl[TODO]
4.调整follower向leader拉消息的线程数

评论区问题

1.动态配置的实现原理[TODO]
配置保存在zookeeper中,动态监听这个变更
2.follower为什么会拉取副本慢?它不负责读写只专心同步副本数据,增加线程就有用吗?
拉取是异步的网络请求。一个Broker上可能有很多follower副本,增加线程可以均匀分散这些follower副本来去任务
kafka follower拉取副本过程细节[TODO],比如follower拉取消息的间隔时间配置,请求是异步的?
3.怎样知道什么时候该调整这两组线程池大小?
可以监控请求队列的大小,可以看看broker端的请求队列的JMX指标


http://www.kler.cn/news/155902.html

相关文章:

  • 华为OD机试真题-虚拟游戏理财-2023年OD统一考试(C卷)
  • windows 你的电脑不能投影到其他屏幕,请尝试重新安装驱动程序
  • C++-内联函数
  • 03-IDEA集成Git,初始化本地库,添加远程仓库,提交,拉取,推送,分支的快捷操作
  • ❀My学习Linux命令小记录(6)❀
  • Java 基础之数据类型
  • 什么是跨站脚本攻击
  • Clickhouse在货品标签场景的应用
  • 模型量化相关知识汇总
  • 程序的未定义行为(Undefined Behavior)
  • 含光伏发电的变电站供电系统设计
  • PMP考试解析
  • 目标检测YOLO系列从入门到精通技术详解100篇-【图像处理】图像识别
  • xxl-job(分布式调度任务)
  • 分享一下docker的使用心得
  • Jupyter Markdown 插入图片
  • Blender学习笔记:小车狂奔动画
  • Vue3 Router跳转传参
  • Vmware17虚拟机安装windows10系统
  • Android跨进程通信,RPC,IPC
  • DBS note7 (end):DB Design
  • 根文件系统构建-对busybox进行配置
  • java中如何将mysql里面的数据取出来然后通过stream流的方式进行数据处理代码实例?
  • 论文阅读——Loss odyssey in medical image segmentation
  • 1.1、Autosar_CP软件集群设计与集成指南说明
  • CentOS7搭建部署NTP服务器
  • 外观模式 rust和java的实现
  • 长度最小的子数组(Java详解)
  • PCL 点云加权均值收缩
  • 【深度学习】神经网络训练过程中不收敛或者训练失败的原因