当前位置：首页 > article >正文

Flume和Kafka的区别？

article 2024/12/31 4:14:28

Flume 一般用于日志采集，可以定制很多数据源，减少开发量，基本架构是一个 Flume 进程agent（ source 、拦截器、选择器、 channel<Memory Channel 、 File Channel> 、 sink ），其中传递的是原子性的event 数据。 Kafka 一般用于日志缓存，是一个可持久的分布式消息队列，自带存储，提供 push 和 pull 两种存储数据功能；包括producer 、 kafka Cluster （ broker ： topic 、 partition ）、 consumer ，依赖于 Zookeeper（ brokerid 、 topic 、 partition 元数据存在 ZNode ， partition 选举 leader 依赖 Zookeeper ）。

1 、 Flume 和 Kafka 的侧重点不同

Flume 追求的是数据和数据源、数据流向的多样性，适合多个生产者的场景； Flume 有自己内置的多种 source和 sink 组件，具体操作方式是编写 source 、 channel 和 sink 的 .conf 配置文件，开启 flume 组件的时候用命令关联读取配置文件实现。

Kafka 追求的是高吞吐，高负载，同一 topic 下可以有多个 partition ，由于是 pull 模式拉取数据，因此适合多个消费者的场景；kafka 没有内置的 producer 和 consumer 组件，需要自己编写代码。

2 、 Flume 和 Kafka 的定位有所不同

Flume 是 cloudera 公司研发，适合多个生产者；适合 下游数据消费者不多 的情况（一个消费者开一个channel）；适合 数据安全性要求不高 的操作（数据没有备份、没有副本）；适合与 Hadoop 生态圈对接的操作（HDFS 、 Hbase 等）；适合生产和收集数据。