【Kafka】数据清理机制
- 文件存储机制
- 分区存储：生产者通过topic发送数据，topic是逻辑概念，实际存储数据于分区，一个topic可对应多个分区，分区对应文件夹存储数据文件。
- 文件分段- 分区内数据文件分段存储，每个段含.index（索引文件）、.log（数据存储文件）、.time index（时间索引文件）。
- 分段作用一是方便删除无用文件，提高磁盘利用率；二是便于查找数据，log和index文件以偏移量命名，可依偏移量定位文件查找数据。
- 数据清理机制
- 清理策略
- 根据消息保留时间：消息保存超指定时间触发清理，默认保留168小时（七天），可在broker配置文件调整。
- 根据topic存储数据大小：一个topic所有分区数据总和达阈值则删除最久数据文件，默认关闭，需手动开启。
- 清理策略
回答面试官问题：
先介绍kafka存储结构（topic含多个分区，分区内文件分段存储），
再说明日志清理的两个策略及相关默认设置和手动开启情况。