当前位置: 首页 > article >正文

KAFKA 权威指南笔记(一)究竟应该配置多少个BROKER?

一个KAFKA集群需要多少个BROKER?

一个单独的Kafka服务器被叫做BROKER,BROKER可以处理数千个分区以及每秒百万级别的消息量。由BROKER组成了“集群”(其中由集群控制器角色的BROKER是从成员中选举出来的,负责控制管理工作)

一、多少个BROKER取决于

1、磁盘容量:如果整个集群需要保留10TB数据,而每个broker可存储2TB,那么至少需要5个BROKER;如果增加了复制系数,则还需多一倍的空间。

kafka建议每个broker的分区副本不超过14000个,每个集群的分区副本不超过100万个。

2、单个broker的复制容量

3、CPU

4、网络

BROKER配置的操作系统调优项:1) 虚拟内存 2)磁盘 3)网络

生产环境的注意事项:JDK8以后,建议使用G1GC的回收机制

修改server.properties文件:XX:MetaspaceSize=96m -XX:+UseG1GC

二、关于Zookeeper

不建议把Zookeeper共享给其他应用程序,kafka对zk的延迟和超时比较敏感,如果多个broker与zk断开连接,那么它们会离线,进而导致分区离线,也会给集群控制器造成压力。

最好让其他应用程序使用自己的Zookeeper群组。


http://www.kler.cn/a/451868.html

相关文章:

  • 全国青少年信息学奥林匹克竞赛(信奥赛)备考实战之分支结构(实战训练三)
  • 探索多模态大语言模型(MLLMs)的推理能力
  • SQL Server数据库多主模式解决方案
  • ES已死,文本检索永生
  • vue 集成 webrtc-streamer 播放视频流 - 解决阿里云内外网访问视频流问题
  • 【Qt】对象树(生命周期管理)和字符集(cout打印乱码问题)
  • 【每日学点鸿蒙知识】上架流程、h5返回收拾拦截、两个枚举类型之间转换、hvigorw命令、绘制本地图片
  • 代码随想录算法训练营第一天 | 704. 二分查找、 27. 移除元素、977.有序数组的平方
  • Python知识图谱框架
  • 22【AUTOSAR自适应平台设计的概述01】杂项概念介绍
  • Hive其十,优化和数据倾斜
  • 要查询 `user` 表中 `we_chat_open_id` 列不为空的用户数量
  • 多边形内角问题@三角形的基本性质@平面镶嵌问题
  • CASA(Carnegie-Ames-Stanford Approach) 模型原理及实践技术
  • Python PDF批量加密工具
  • 妙用编辑器:如何使用编辑器的筛选功能更高效的阅读日志
  • 在 macOS 和 Windows 平台上使用 SVN 的完整指南20241225
  • Golang的性能监控指标
  • Milvus矢量数据库 麒麟v10安装
  • unity 打包出来的所有执行文件内容打包成一个exe程序
  • 强大且灵活的终端工具Tabby的强大功能与详细配置指南
  • 十五、新一代大模型推理架构Manba
  • 【Leetcode】3218. 切蛋糕的最小总开销 I
  • 【计算机视觉】轮廓检测
  • ArcGIS经纬度转平面坐标教程
  • 第3章 集合与关系