当前位置: 首页 > article >正文

kafka分区和副本的关系?

  • 概念来一波
    • 比如一个topic的消息存放在两个分区中,分区1和分区2.
    • 每个分区都有自己的一个副本。即比如分区1有副本1/副本2/副本3,分区2也有分区2的副本1/副本2/副本3。
    • 一个节点上的一个topic的可以由多个分区存放,但是每个分区的leader副本会尽可能放到不同的节点上
      • 一个partition分区只能被一个消费组中的一个消费者消费(消费者组id+Topic 确定一个当前消费到哪个offset

  • 这个举个例子说明更形象
    • 例子1 如下图:topic 有4个分区,每个分区有2个副本。
      • Musk topic的分区0的leader副本在2节点上,另一个副本在1机器上;
      • Musk topic的分区1的leader副本在1节点上,另一个副本在0机器上;
      • Musk topic的分区2的leader副本在0节点上,另一个副本在2机器上;
      • Musk topic的分区3的leader副本在2节点上,另一个副本在0机器上;

  • 例子2 如下图是一个2分区3副本的Topic:分区0的leader副本在broker0节点上,分区1的leader的副本在broker2节点


http://www.kler.cn/a/321498.html

相关文章:

  • webrtc学习----前端推流拉流,局域网socket版,一对多
  • ES已死,文本检索永生
  • 如何使用Windows快捷键在多显示器间移动窗口
  • pytest自动化测试数据驱动yaml/excel/csv/json
  • ECharts散点图-气泡图,附视频讲解与代码下载
  • zabbix监控山石系列Hillstone监控模版(适用于zabbix7及以上)
  • 深度学习:ResNet残差神经网络
  • 【OpenSSL】OpenSSL 教程
  • C++ 数据类型分类
  • Android12的netd分析
  • 解析Vue2源码中的diff算法
  • kafka下载配置
  • 深度学习自编码器 - 得益于深度的指数增益篇
  • 数据集-目标检测系列-口罩检测数据集 mask>> DataBall
  • 自动驾驶综述 | 定位、感知、规划常见算法汇总
  • 网络编程(5)——模拟伪闭包实现连接的安全回收
  • GitLab发送邮件功能详解:如何配置自动化?
  • Bytebase 2.23.0 - 支持 Entra (Azure AD) 用户/组同步
  • 基于Node.js+Express+MySQL+VUE实现的计算机毕业设计共享单车管理网站
  • KVM 安装 Windows11
  • 不同的浏览器、服务器和规范对 URL 长度的限制
  • 【Gitee自动化测试0】日程
  • Vue3 取消密码输入框在浏览器中自动回填
  • 微信小程序配置prettier+eslint
  • JAVA实现Word(doc)文件读写
  • 数学符号练习篇-函数