当前位置: 首页 > article >正文

Kafka系列之:Kafka集群同时设置基于时间和日志大小两种方式保存Topic的数据

Kafka系列之:Kafka集群同时设置基于时间和日志大小两种方式保存Topic的数据

  • 一、基于日志大小
  • 二、基于时间大小
  • 三、参数设置
  • 四、设置命令

一、基于日志大小

  • "log.retention.bytes"是Apache Kafka中的一项配置参数,用于指定每个日志段文件的最大大小。当日志段文件的大小达到或超过该配置值时,Kafka将开始删除该日志段中最旧的消息,以保持日志段文件的大小在一定的范围内。
  • 这个参数的设置可以帮助控制消息在Kafka中的持久化存储时间。如果设置得较小,将会导致更频繁的日志段切换和消息删除,可能会增加磁盘IO的负载。相反,如果设置得较大,将会导致消息在Kafka中存储的时间更长,可能会增加磁盘使用量。
  • 合理设置"log.retention.bytes"参数可以根据实际需求来平衡磁盘空间的利用率和消息的保留时间。需要根据具体的业务场景和预期的消息保留时间,以及可用磁盘空间等因素来进行设置。

二、基于时间大小

  • "log.retention.hours"是Apache Kafka中的另一个配置参数,用于指定每个日志段文件的最大保留时间。当日志段文件的最后一条消息的时间戳超过该配置值时,Kafka将开始删除该日志段文件,以保持消息在Kafka中的存储时间在一定的范围内。

http://www.kler.cn/a/232239.html

相关文章:

  • 一文说清C++类型转换操作符(cast operator)
  • C++- 基于多设计模式下的同步异步日志系统
  • 智能化护士排班系统的设计与实现(文末附源码)
  • WSL与Ubuntu系统--使用Linux
  • 如何在Debian系统里使用Redhat(CentOS)的方式配置网络
  • 从0开始学习机器学习--Day26--聚类算法
  • [当人工智能遇上安全] 11.威胁情报实体识别 (2)基于BiGRU-CRF的中文实体识别万字详解
  • ubuntu22.04@laptop OpenCV Get Started: 002_reading_writing_videos
  • 【龙年大礼】| 2023中国开源年度报告!
  • 大模型2024规模化场景涌现,加速云计算走出第二增长曲线
  • 从Unity到Three.js(安装启动)
  • STM32输出PWM波控制180°舵机
  • VSCode 文件夹增加右键打开
  • 图数据库neo4j入门
  • ChatGPT在肾脏病学领域的专业准确性评估
  • (delphi11最新学习资料) Object Pascal 学习笔记---第4章第2.5节(重载和模糊调用)
  • Linux学习
  • C#调用WechatOCR.exe实现本地OCR文字识别
  • PostgreSQL 与 MySQL 相比,优势何在?
  • 基于蒙特卡洛的电力系统可靠性分析matlab仿真,对比EDNS和LOLP
  • 服务器性能监控管理方法及工具
  • 登山 ——最长上升子序列
  • 第9章 SpringBoot综合项目实战——个人博客系统
  • @PostMapping/ @GetMapping等请求格式
  • JavaScript基础第五天
  • vue使用Mars3d弹框嵌套video视频/实时视频(m3u8)使用hls.js