当前位置: 首页 > article >正文

【kafka】kafka如何保证数据的可靠性,kafka如何保证数据不丢失

1. Kafka架构:

Producer - Broker - Consumer

回到问题上来,Kafka如何保证数据不丢失,我们先看看Kafka如何保证Producer端数据不丢失: 通过ack机制 + 最小副本数设置+ 生产者重试机制

2. Kafka Producer消息发送ACK机制:

ACK机制:

问个问题:Kafka什么时候会丢失数据?

1. 情况一,Producer向kafka发送消息的时候,ack设置的是0,(0就是producer向broker发生数据后,不需要ack确认)如果这个时候broker leader节点宕机,这个时候数据在broker leader中还没有存储,也没有同步到broker follower节点中,数据就会丢失。

Producer默认的ack确认值是-1,就是leader接收消息后发生ack确认给producer。

2. 情况二,Producer向Kafka发生消息的时候,由于Kafka先将数据存储在Block cache中,当cache满了才刷到磁盘上。如果这个时候整个kafka集群整体出现故障,那也会导致数据丢失。


http://www.kler.cn/a/303783.html

相关文章:

  • ISUP协议视频平台EasyCVR视频设备轨迹回放平台智慧农业视频远程监控管理方案
  • MySQL【三】
  • 设计模式之工厂模式,但是宝可梦
  • 【计算机网络】TCP网络程序
  • Gartner发布安全平台创新洞察:安全平台需具备的11项常见服务
  • 机器学习在医疗健康领域的应用
  • 红外图像处理算法详解:从基础到应用
  • ‌seq_len 不等于 hidden_size 难道不会报错吗,他们是一会事情吗
  • Rocket: 从零开始构建Rust Web服务
  • 【计算机网络】电路交换、电报交换、分组交换
  • yum下载软件失败:‘Could not resolve host: mirrorlist .centos .org; Unknowm error
  • C++笔记---继承(上)
  • 参赛心得和思路分享:2021第二届云原生编程挑战赛2: 实现一个柔性集群调度机制
  • 门磁模块详解(防盗感应开关 STM32)
  • 2398. 预算内的最多机器人数目(24.9.13)
  • 【论文笔记】AutoLFADS (Nature Methods, 2022)
  • 深度学习的笔记
  • vue的自定义指令
  • 连年(年份)
  • 再次进阶 舞台王者 第八季完美童模全球赛代言人【肖牧辰】赛场+秀场超燃合集!
  • C51单片机-单按键输入识别,键盘消抖
  • 【原创教程】电气电工18:三大品牌的IO_LINK
  • Leetcode 每日一题:Count Complete Tree Nodes
  • webpack打包原理
  • QT 串口上位机读卡显示
  • DMA与AXI DMA ip