Kafka系列之:定位topic只能保存最新数据的原因
Kafka系列之:定位topic只能保存最新数据的原因
- 一、背景
- 二、定位排查方向
- 三、深入排查
一、背景
- kafka topic保存的数据少,topic只能保存最新的数据
二、定位排查方向
- 能想到的定位排查方向:topic能存储的数据量、topic数据保存的时间、topic数据大小
./bin/kafka-configs.sh --zookeeper localhost:2181 --entity-type topics --entity-name optics_rt --describe
Topic: optics_rt TopicId: W37WLzYSRe6pwgYMOprw8w PartitionCount: 6 ReplicationFactor: 3 Configs: retention.bytes=5368709120
Topic: optics_rt Partition: 0 Leader: 2 Replicas: 2,4,3 Isr: 2,3,4
Topic: optics_rt Partition: 1 Leader: 3 Replicas: 3,2,0 Isr: 0,2,3
Topic: optics_rt Partition: 2 Leader: 0 Replicas: 0,3,5 Isr: 0,3,5
Topic: optics_rt Partition: 3 Leader: 5 Replicas: 5,0,1 Isr: 0,1,5
Topic: optics_rt Partition: 4 Leader: 1 R