当前位置: 首页 > article >正文

kafka详解

安装kafka注意事项

修改 、vim kafka/config/server.properties

三个地方①brokerId ②logs=地址③指定节点

一、创建主题

(必须指定分区,指定副本)

#在kafka bin目录下执行以下命令
#①连接hadoop01 创建主题为TEST 分区1 副本3个
bin/kafka-topics.sh --bootstrap-server hadoop01:9092 --topic TEST --create --partitions 1 --replication-factor 3

查看创建的主题

#查看Hadoop01节点所有主题
bin/kafka-topics.sh --boostrap-server hadoop01:9092 --list
#查看主题为TEST的详情
bin/kakfa-topics.sh --boostrap-server hadoop01:9092 TEST --describe

二、生产者

给指定主题发消息

bin/kakfa-console-producer.sh --bootstrap-server hadoop01:9092 --topic TEST

查看数据

三、消费者

#从最开头消费
bin/kafka-console-consumer.sh --bootstrap-server hadoop01:9092 --topic TEST --from-beginning

四、生产者原理

五、异步发送API

带回调函数的异步发送、

六、同步发送

七、生产者分区

分区策略

①指定分区,消息会发送到指定的分区

②不指定分区,可以按照业务场景:

比如:要把几张表的数据通过kafka同步到过去,此时可以把表名当做key,进行发送。对于同一张表的数据来说,因为key的hashCode与topic的分区数取模之后得到分区是一致的,这样就实现了,同一张表的数据发送kafka的时候走的同一个分区,不同表走不通分区。

③自定义分区

八、生产者如何提高发送能力

九、ACK应答级别

代码配置ACK

数据传递语义


http://www.kler.cn/a/448417.html

相关文章:

  • AIGC-------AI生成内容如何赋能AR和VR体验?
  • G口带宽服务器与1G独享带宽服务器:深度剖析其差异
  • 摩尔信使MThings的逻辑控制功能范例
  • 让汉语和英语一样长的字符编码
  • 二八(vue2-04)、scoped、data函数、父子通信、props校验、非父子通信(EventBus、provideinject)、v-model进阶
  • 使用 esrally race 测试 Elasticsearch 性能:实践指南
  • Gin-vue-admin(1):环境配置和安装
  • 管理系统、微信小程序类源码文档-哔哩哔哩教程同步
  • CV-OCR经典论文解读|An Empirical Study of Scaling Law for OCR/OCR 缩放定律的实证研究
  • 边缘智能网关助力打造建筑智慧消防物联网
  • 【CSS】line-height: 120% 和 line-height: 1.2有什么区别?
  • python面试篇-多并发详解(多线程,多进程,协成整理)---一篇搞定
  • 南京观海微电子----单片机的中断系统
  • 使用JavaScript获取商品详情接口:一个实用的指南
  • GO--堆(have TODO)
  • outlook smtp 发送邮件
  • Android-Glide缓存机制
  • Zookeeper 底层原理解析
  • 大小端存储的问题
  • mysql-主从同步与读写分离
  • 机器学习之归纳学习
  • 【Mybatis-Plus】使用步骤 条件构造器 分页模型
  • Flink 简介和简单的demo
  • Linux -- 线程控制相关的函数
  • 判断实例化或推断的时机
  • 东方财富股吧发帖与评论爬虫