当前位置: 首页 > article >正文

Kafka权威指南(第2版)读书笔记

目录

  • Kafka生产者——向Kafka写入数据
    • 生产者概览
    • 创建Kafka生产者

Kafka生产者——向Kafka写入数据

不管是把Kafka作为消息队列、消息总线还是数据存储平台,总是需要一个可以往Kafka写入数据的生产者、一个可以从Kafka读取数据的消费者,或者一个兼具两种角色的应用程序。

生产者概览

一个应用程序会在很多情况下向Kafka写入消息:记录用户的活动(用于审计和分析)​、记录指标、记录日志、记录从智能家电收集到的信息、与其他应用程序进行异步通信、缓冲即将写入数据库的数据,等等。不同的应用场景直接影响如何使用和配置生产者API。尽管生产者API使用起来很简单,但消息的发送过程还是有点儿复杂。下图展示了向Kafka发送消息的主要步骤:
在这里插入图片描述
先从创建一个ProducerRecord对象开始,其中需要包含目标主题和要发送的内容。另外,还可以指定键、分区、时间戳或标头。在发送ProducerRecord对象时,生产者需要先把键和值对象序列化成字节数组,这样才能在网络上传输。

接下来,如果没有显式地指定分区,那么数据将被传给分区器。分区器通常会基于ProducerRecord对象的键选择一个分区。选好分区以后,生产者就知道该往哪个主题和分区发送这条消息了。紧接着,该消息会被添加到一个消息批次里,这个批次里的所有消息都将被发送给同一个主题和分区。有一个独立的线程负责把这些消息批次发送给目标broker。

broker在收到这些消息时会返回一个响应。如果消息写入成功,就返回一个RecordMetaData对象,其中包含了主题和分区信息,以及消息在分区中的偏移量。如果消息写入失败,则会返回一个错误。生产者在收到错误之后会尝试重新发送消息,重试几次之后如果还是失败,则会放弃重试,并返回错误信息。

创建Kafka生产者


http://www.kler.cn/a/503978.html

相关文章:

  • IDEA的Git界面(ALT+9)log选项不显示问题小记
  • 探索图像编辑的无限可能——Adobe Photoshop全解析
  • 通过外部化 `config.properties` 文件更换数据库配置
  • JSON.stringify(res,null,2)的含义
  • 前端:前端开发任务分解
  • LiveNVR监控流媒体Onvif/RTSP常见问题-二次开发接口jquery调用示例如何解决JS|axios调用接口时遇到的跨域问题
  • 【如何从0到1设计测试用例使用Fiddler完成弱网测试】
  • Android 调用系统服务接口获取屏幕投影(需要android.uid.system)
  • 数据结构之顺序结构二叉树(超详解)
  • Codeforces Round 976 (Div. 2) and Divide By Zero 9.0(A-E)
  • 接口测试总结(http与rpc)
  • 【漏洞复现】孚盟云 MailAjax.ashx SQL注入漏洞复现
  • VSCode 搜索 搜不到
  • 【Linux】设备驱动中的ioctl详解
  • 初学stm32 --- II2C_AT24C02,向EEPROM中读写数据
  • 如何通过 Nginx 配置防盗链保护静态资源(详细配置)
  • 抢十八游戏
  • web服务器+selinux实验
  • SQL面试题2:留存率问题
  • 1.14学习
  • 用 Python 从零开始创建神经网络(二十):模型评估
  • 《C++11》nullptr介绍:从NULL说起
  • 【前端】自学基础算法 -- 25.动态规划-01背包问题
  • CloudCompare视图透视问题与裁剪平面设置详解
  • RPC 源码解析~Apache Dubbo
  • 图像模糊度(清晰度)检测 EsFFT 算法详细分析