Kafka的安装及相关操作命令

前言

kafka_2.11-0.10.2.1，该版本较旧，依赖zookeeper。

提示：以下是本篇文章正文内容，下面案例可供参考

一、安装kafka

1. 下载kafka

通过命令行下载kafka

wget https://archive.apache.org/dist/kafka/0.10.2.1/kafka_2.11-0.10.2.1.tgz

或者访问如下地址，通过浏览器下载，然后传至指定目录

https://archive.apache.org/dist/kafka/0.10.2.1/kafka_2.11-0.10.2.1.tgz

2. 解压kafka

使用如下命令解压

# 创建目录 kafka_2.11-0.10.2.1
mkdir -p /Users/bigdata/kafka/kafka_2.11-0.10.2.1
# 解压
tar -xzf kafka_2.11-0.10.2.1.tgz -C /Users/bigdata/kafka/kafka_2.11-0.10.2.1 --strip-components=1

--strip-components=1：用于在解压时去除指定数量的目录层次，会在解压时去掉最顶层的一级目录。
如果不想搞的这么复杂，将tgz包传到指定目录，tar -zxf 解压即可。

3. 配置环境变量

vi ~/.bash_profile

增加如下配置：

export KAFKA_HOME=/Users/bigdata/kafka/kafka_2.11-0.10.2.1
export PATH=$PATH:$KAFKA_HOME/bin

保存后退出，使配置生效

source ~/.bash_profile

二、kafka相关命令

1. 启动zk

zkServer.sh start

2. 启动Kafka Broker

kafka-server-start.sh config/server.properties

3. 创建主题

kafka-topics.sh --zookeeper localhost:2181 --create --topic test1 --partitions 1 --replication-factor 1

--replication-factor：指定主题的副本因子，即每个分区的副本数量。
--partitions：指定主题的分区数量。

4. 列出所有主题

kafka-topics.sh --list --zookeeper localhost:2181

5. 查看主题详情

kafka-topics.sh --describe --zookeeper localhost:2181 --topic test1

6. 删除主题

kafka-topics.sh --delete --zookeeper localhost:2181 --topic test1

--delete：删除指定的主题，但要确保 delete.topic.enable=true 在 server.properties 中配置，否则只是标记删除。

7. 启动控制台生产者

# 启动之后，直接在当前控制台输入消息，回车之后就会发送到指定主题
kafka-console-producer.sh --broker-list localhost:9092 --topic test1

8. 启动控制台消费者

读取主题test1的数据，输出到控制台

kafka-console-consumer.sh --zookeeper localhost:2181 --topic test1 --from-beginning

--from-beginning：表示从主题的最早消息开始消费，若不指定则从最新消息开始。

9. 验证结果

查看test1主题有多少数据

kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list localhost:9092 --topic test1 -time -1 --offsets 1

10. 其他

消费者组相关、修改主题配置相关，待用到时补充。