kafka详解
安装kafka注意事项
修改 、vim kafka/config/server.properties
三个地方①brokerId ②logs=地址③指定节点
一、创建主题
(必须指定分区,指定副本)
#在kafka bin目录下执行以下命令
#①连接hadoop01 创建主题为TEST 分区1 副本3个
bin/kafka-topics.sh --bootstrap-server hadoop01:9092 --topic TEST --create --partitions 1 --replication-factor 3
查看创建的主题
#查看Hadoop01节点所有主题
bin/kafka-topics.sh --boostrap-server hadoop01:9092 --list
#查看主题为TEST的详情
bin/kakfa-topics.sh --boostrap-server hadoop01:9092 TEST --describe
二、生产者
给指定主题发消息
bin/kakfa-console-producer.sh --bootstrap-server hadoop01:9092 --topic TEST
查看数据
三、消费者
#从最开头消费
bin/kafka-console-consumer.sh --bootstrap-server hadoop01:9092 --topic TEST --from-beginning
四、生产者原理
五、异步发送API
带回调函数的异步发送、
六、同步发送
七、生产者分区
分区策略
①指定分区,消息会发送到指定的分区
②不指定分区,可以按照业务场景:
比如:要把几张表的数据通过kafka同步到过去,此时可以把表名当做key,进行发送。对于同一张表的数据来说,因为key的hashCode与topic的分区数取模之后得到分区是一致的,这样就实现了,同一张表的数据发送kafka的时候走的同一个分区,不同表走不通分区。
③自定义分区
八、生产者如何提高发送能力
九、ACK应答级别
代码配置ACK
数据传递语义