Kafka系列之:Kafka集群同时设置基于时间和日志大小两种方式保存Topic的数据
- 一、基于日志大小
- 二、基于时间大小
- 三、参数设置
- 四、设置命令
一、基于日志大小
- "log.retention.bytes"是Apache Kafka中的一项配置参数,用于指定每个日志段文件的最大大小。当日志段文件的大小达到或超过该配置值时,Kafka将开始删除该日志段中最旧的消息,以保持日志段文件的大小在一定的范围内。
- 这个参数的设置可以帮助控制消息在Kafka中的持久化存储时间。如果设置得较小,将会导致更频繁的日志段切换和消息删除,可能会增加磁盘IO的负载。相反,如果设置得较大,将会导致消息在Kafka中存储的时间更长,可能会增加磁盘使用量。
- 合理设置"log.retention.bytes"参数可以根据实际需求来平衡磁盘空间的利用率和消息的保留时间。需要根据具体的业务场景和预期的消息保留时间,以及可用磁盘空间等因素来进行设置。
二、基于时间大小
- "log.retention.hours"是Apache Kafka中的另一个配置参数,用于指定每个日志段文件的最大保留时间。当日志段文件的最后一条消息的时间戳超过该配置值时,Kafka将开始删除该日志段文件,以保持消息在Kafka中的存储时间在一定的范围内。