当前位置： 首页 > article >正文

半小时速通flume-flume概述

article 2025/3/4 0:40:27

文章目录

  • 1.Flume概述
  • 2.Flume架构
    • 1.Agent
    • 2.Source
    • 3.Sink
    • 4.Channel
    • 5.Event

1.Flume概述

  • Flume是Cloudera提供的一个高可用，高可靠的，分布式海量数据日志采集，聚合，传输系统。基于流式架构，动态实现，上传一条采集一条。

在这里插入图片描述

  • 企业开发，flume–>kafka集群–>hdfs

  • flume动态采集—实时；若做离线业务，完全可以使用put命令

在这里插入图片描述

2.Flume架构

在这里插入图片描述

  • 三个关键组件：Source ，Channel，Sink

  • Channel做缓冲，原因是Source，Sink速度不一致。

1.Agent

  • agent是一个JVM进程，它以时间的形式将数据从源头送至目的。
  • 三个部分组成Source、Sink、Channel

2.Source

  • 内部有很多的类型，不同的类型就是对接不同的数据源的

3.Sink

  • Sink指的是传输落点；也就是将数据传输到哪

在这里插入图片描述

logger是打印到控制台，测试常用。

4.Channel

  • 做缓冲的地方；
  • Memory Channel、File Channel、Kafka Channel

在这里插入图片描述

存到内存和磁盘各有优略；安全性和速度角度考虑。

5.Event

  • Event表示将我们的数据做了一次序列化

在这里插入图片描述


http://www.kler.cn/a/520329.html

相关文章：

  • 图像编辑器 Monica 之 CV 常见算法的快速调参
  • shallowRef和shallowReactive的用法以及使用场景和ref和reactive的区别
  • 企业信息化1：免费开源的董事会办公管理系统
  • sql中INNER JOIN、LEFT JOIN、RIGHT JOIN
  • 深入MapReduce——引入
  • 基于回归分析法的光伏发电系统最大功率计算simulink建模与仿真
  • 【C语言系列】深入理解指针（4）
  • 如何复现o1模型，打造医疗 o1？
  • 【Elasticsearch】ANN解决了kNN的什么问题？
  • mysql索引。。
  • Effective C++ 规则49：了解 new-handler 的行为
  • C语言之图像文件的属性
  • 60.await与sleep的原理分析 C#例子 WPF例子
  • 八股文 （一）
  • GD32的GD库开发
  • 删除全表数据sql
  • 企业微信SCRM开创客户管理新纪元推动私域流量高效转化
  • Linux 命令行十六进制编辑器：高效操作二进制文件
  • 解决老游戏不兼容新系统win10win11问题
  • MFC结构体数据文件读写实例