当前位置: 首页 > article >正文

解决flume在抽取不断产生的日志文件时,hdfs上出现很多小文件的问题

问题

在使用flume时,需要编写conf文件,然后执行,明明sinks已经指定了roll的三个参数:
a1.sinks.k1.hdfs.rollInterval = 0 (根据写入时间来切割)
a1.sinks.k1.hdfs.rollSize = 0 (根据写入的文件大小来切割)
a1.sinks.k1.hdfs.rollCount = 0 (根据Event数量来切割)
其中0代表不根据其属性来切割文件
但是hdfs上还会出现很多的小文件

在这里插入图片描述

解决办法

因为文件会因为所在块的复制而滚动文件,所以设置的roll参数没起作用
此时只需要在编写的conf文件中添加上:
a1.sinks.k1.hdfs.minBlockReplicas = 1
即可,此时hdfs上的文件数量会根据设置的roll属性来决定!

在这里插入图片描述


http://www.kler.cn/news/304795.html

相关文章:

  • UniApp 从Vue2升级为Vue3需要注意哪些方面
  • 微服务-- Sentinel的使用
  • 个人电脑可以当服务器用吗?
  • 服务器基础知识拓展( Linux 网络操作系统 03)
  • 京东广告投放平台整洁架构演进之路
  • 边缘计算智能网关的功能应用与优势-天拓四方
  • ZAB协议(算法)
  • linux配置远程ssh服务
  • Docker基本使用(持续更新中)
  • Spring IOC的应用
  • Vue 3 中 useRouter 与 useRoute 的深度解析
  • 悟空crm客户管理系统二次开发 单独新增表格字段
  • Kafka客户端核心参数详解
  • Java面试篇基础部分-Java注解详解
  • Visual Studio Code 高效开发 C/C++ 插件推荐
  • 开发游戏的学习规划
  • 基于扣子(Coze)打造第一个智能体——个性化对话机器人
  • 智能语音技术在人机交互中的应用与发展
  • 中国农业银行——轻量式云原生应用平台(轻云平台)
  • swiftUI结构体数组修改属性UI没更新
  • Go协程及并发锁应用指南
  • 深入理解Go语言的方法定义与使用
  • 深入理解Go语言中的接口定义与使用
  • 『功能项目』战士职业平A怪物掉血【44】
  • SVM——支持向量机的学习入门
  • 【运维监控】influxdb 2.0+grafana 监控java 虚拟机以及方法耗时情况(完整版)
  • GPS/LBS/Wi-Fi定位,全安排!—合宙Air201资产定位模组LuatOS快速入门04
  • Leetcode 每日一题:Decode String
  • LVS-DR
  • JMeter测试工具的简单了解