Kafka参数了解
Kafka配置参数完整说明
1. 基础配置
| 参数名 | 说明 | 推荐值 | 参考值 |
|---|---|---|---|
| broker.id | broker的唯一标识符 | 每个节点唯一的整数 | 1 |
| delete.topic.enable | 是否允许删除topic | true | true |
| listeners | broker监听地址 | SASL_PLAINTEXT://host:9092 | SASL_PLAINTEXT://172.24.77.15:9092 |
| advertised.listeners | 对外发布的监听地址 | SASL_PLAINTEXT://public_ip:9092 | SASL_PLAINTEXT://172.24.77.15:9092 |
| log.dirs | 日志数据目录 | /data/kafka/data | /data/kafka/data |
| zookeeper.connect | ZK连接字符串 | host1:2181,host2:2181,host3:2181 | 172.24.77.10:2181,172.24.77.11:2181,172.24.77.12:2181 |
2. 安全配置
| 参数名 | 说明 | 推荐值 | 参考值 |
|---|---|---|---|
| security.protocol | 安全协议 | SASL_PLAINTEXT | SASL_PLAINTEXT |
| sasl.mechanism.inter.broker.protocol | broker间通信认证机制 | SCRAM-SHA-256 | SCRAM-SHA-256 |
| sasl.enabled.mechanisms | 启用的认证机制 | SCRAM-SHA-256,PLAIN | SCRAM-SHA-256,PLAIN |
| allow.everyone.if.no.acl.found | 无ACL时允许所有操作 | false | true(测试环境) |
| super.users | 超级用户列表 | User:admin | User:super |
| authorizer.class.name | 授权器类名 | kafka.security.auth.SimpleAclAuthorizer | kafka.security.auth.SimpleAclAuthorizer |
3. 网络配置
| 参数名 | 说明 | 推荐值 | 参考值 |
|---|---|---|---|
| num.network.threads | 网络线程数 | 3-5 | 3 |
| num.io.threads | IO线程数 | 8 | 8 |
| socket.send.buffer.bytes | 发送缓冲区大小 | 10485760 (10MB) | 102400 (100KB) |
| socket.receive.buffer.bytes | 接收缓冲区大小 | 10485760 (10MB) | 102400 (100KB) |
| socket.request.max.bytes | 请求最大大小 | 104857600 (100MB) | 104857600 (100MB) |
| replica.socket.receive.buffer.bytes | 副本复制接收缓冲区 | 1048576 (1MB) | 65536 (64KB) |
4. 主题和分区配置
| 参数名 | 说明 | 推荐值 | 参考值 |
|---|---|---|---|
| num.partitions | 默认分区数 | 3 | 3 |
| default.replication.factor | 默认副本因子 | 3 | 3 |
| min.insync.replicas | 最小同步副本数 | 2 | 2 |
| auto.create.topics.enable | 是否自动创建主题 | false | true |
| offsets.topic.replication.factor | offsets主题副本因子 | 3 | 3 |
5. 性能调优参数
| 参数名 | 说明 | 推荐值 | 参考值 |
|---|---|---|---|
| num.replica.fetchers | 副本拉取线程数 | 3 | 3 |
| replica.fetch.max.bytes | 副本拉取最大字节数 | 1048576 (1MB) | 1048576 (1MB) |
| replica.lag.time.max.ms | 副本最大延迟时间 | 5000 (5秒) | 10000 (10秒) |
| replica.fetch.wait.max.ms | 副本拉取最大等待时间 | 1000 (1秒) | 1000 (1秒) |
| log.flush.interval.messages | 刷盘消息数阈值 | 10000 | 10000 |
| log.flush.interval.ms | 刷盘时间间隔 | 1000 (1秒) | 1000 (1秒) |
6. 日志管理
| 参数名 | 说明 | 推荐值 | 参考值 |
|---|---|---|---|
| log.retention.hours | 日志保留时间 | 168 (7天) | 168 (7天) |
| log.segment.bytes | 日志片段大小 | 1073741824 (1GB) | 1073741824 (1GB) |
| log.retention.check.interval.ms | 日志清理检查间隔 | 300000 (5分钟) | 300000 (5分钟) |
| log.cleanup.policy | 日志清理策略 | delete | delete |
| log.message.timestamp.type | 消息时间戳类型 | LogAppendTime | LogAppendTime |
7. 事务和幂等性配置
| 参数名 | 说明 | 推荐值 | 参考值 |
|---|---|---|---|
| transaction.state.log.replication.factor | 事务主题副本因子 | 3 | 3 |
| transaction.state.log.min.isr | 事务主题最小ISR | 2 | 2 |
| unclean.leader.election.enable | 是否允许非ISR副本成为leader | false | false |
8. 其他配置
| 参数名 | 说明 | 推荐值 | 参考值 |
|---|---|---|---|
| group.initial.rebalance.delay.ms | 消费组初始重平衡延迟 | 3000 (3秒) | 3000 (3秒) |
| broker.rack | broker机架信息 | rack1 | kafka-rac1 |
| message.max.bytes | 消息最大大小 | 1000012 (≈1MB) | 1000012 (≈1MB) |
| zookeeper.connection.timeout.ms | ZK连接超时时间 | 18000 (18秒) | 18000 (18秒) |
| zookeeper.session.timeout.ms | ZK会话超时时间 | 18000 (18秒) | 12000 (12秒) |