当前位置: 首页 > article >正文

解决flume在抽取不断产生的日志文件时,hdfs上出现很多小文件的问题

问题

在使用flume时,需要编写conf文件,然后执行,明明sinks已经指定了roll的三个参数:
a1.sinks.k1.hdfs.rollInterval = 0 (根据写入时间来切割)
a1.sinks.k1.hdfs.rollSize = 0 (根据写入的文件大小来切割)
a1.sinks.k1.hdfs.rollCount = 0 (根据Event数量来切割)
其中0代表不根据其属性来切割文件
但是hdfs上还会出现很多的小文件

在这里插入图片描述

解决办法

因为文件会因为所在块的复制而滚动文件,所以设置的roll参数没起作用
此时只需要在编写的conf文件中添加上:
a1.sinks.k1.hdfs.minBlockReplicas = 1
即可,此时hdfs上的文件数量会根据设置的roll属性来决定!

在这里插入图片描述


http://www.kler.cn/a/304795.html

相关文章:

  • JavaScript Cookie 与 服务器生成的 Cookie 的区别与应用
  • WPF中MVVM工具包 CommunityToolkit.Mvvm
  • 扫雷游戏代码分享(c基础)
  • mysql 快速解决死锁方式
  • leetcode206. Reverse Linked List
  • js-将JavaScript对象或值转换为JSON字符串 JSON.stringify(this.SelectDataListCourse)
  • UniApp 从Vue2升级为Vue3需要注意哪些方面
  • 微服务-- Sentinel的使用
  • 个人电脑可以当服务器用吗?
  • 服务器基础知识拓展( Linux 网络操作系统 03)
  • 京东广告投放平台整洁架构演进之路
  • 边缘计算智能网关的功能应用与优势-天拓四方
  • ZAB协议(算法)
  • linux配置远程ssh服务
  • Docker基本使用(持续更新中)
  • Spring IOC的应用
  • Vue 3 中 useRouter 与 useRoute 的深度解析
  • 悟空crm客户管理系统二次开发 单独新增表格字段
  • Kafka客户端核心参数详解
  • Java面试篇基础部分-Java注解详解
  • Visual Studio Code 高效开发 C/C++ 插件推荐
  • 开发游戏的学习规划
  • 基于扣子(Coze)打造第一个智能体——个性化对话机器人
  • 智能语音技术在人机交互中的应用与发展
  • 中国农业银行——轻量式云原生应用平台(轻云平台)
  • swiftUI结构体数组修改属性UI没更新