当前位置: 首页 > article >正文

【kafka】kafka如何保证数据的可靠性,kafka如何保证数据不丢失

1. Kafka架构:

Producer - Broker - Consumer

回到问题上来,Kafka如何保证数据不丢失,我们先看看Kafka如何保证Producer端数据不丢失: 通过ack机制 + 最小副本数设置+ 生产者重试机制

2. Kafka Producer消息发送ACK机制:

ACK机制:

问个问题:Kafka什么时候会丢失数据?

1. 情况一,Producer向kafka发送消息的时候,ack设置的是0,(0就是producer向broker发生数据后,不需要ack确认)如果这个时候broker leader节点宕机,这个时候数据在broker leader中还没有存储,也没有同步到broker follower节点中,数据就会丢失。

Producer默认的ack确认值是-1,就是leader接收消息后发生ack确认给producer。

2. 情况二,Producer向Kafka发生消息的时候,由于Kafka先将数据存储在Block cache中,当cache满了才刷到磁盘上。如果这个时候整个kafka集群整体出现故障,那也会导致数据丢失。


http://www.kler.cn/a/303783.html

相关文章:

  • 【工业自动化摄像头移动机器视觉】
  • Ubuntu20.04中EasyConnect启动报错
  • 【Vim Masterclass 笔记09】S06L22:Vim 核心操作训练之 —— 文本的搜索、查找与替换操作(第一部分)
  • windows及linux 安装 Yarn 4.x 版本
  • YOLOv5改进 | CARAFE提高精度的上采样方法
  • Cognitive architecture 又是个什么东东?
  • 红外图像处理算法详解:从基础到应用
  • ‌seq_len 不等于 hidden_size 难道不会报错吗,他们是一会事情吗
  • Rocket: 从零开始构建Rust Web服务
  • 【计算机网络】电路交换、电报交换、分组交换
  • yum下载软件失败:‘Could not resolve host: mirrorlist .centos .org; Unknowm error
  • C++笔记---继承(上)
  • 参赛心得和思路分享:2021第二届云原生编程挑战赛2: 实现一个柔性集群调度机制
  • 门磁模块详解(防盗感应开关 STM32)
  • 2398. 预算内的最多机器人数目(24.9.13)
  • 【论文笔记】AutoLFADS (Nature Methods, 2022)
  • 深度学习的笔记
  • vue的自定义指令
  • 连年(年份)
  • 再次进阶 舞台王者 第八季完美童模全球赛代言人【肖牧辰】赛场+秀场超燃合集!
  • C51单片机-单按键输入识别,键盘消抖
  • 【原创教程】电气电工18:三大品牌的IO_LINK
  • Leetcode 每日一题:Count Complete Tree Nodes
  • webpack打包原理
  • QT 串口上位机读卡显示
  • DMA与AXI DMA ip