Flume采集Kafka数据到Hive
版本:
Kafka:2.4.1
Flume:1.9.0
Hive:3.1.0
Kafka主题准备:
Hive表准备:确保hive表为:分区分桶、orc存储、开启事务
Flume准备:
配置flume文件:
/opt/datasophon/flume-1.9.0/conf/kafka2hive.conf
需要将hive的jar包同步到flume的lib目录下:
/opt/datasophon/hive-3.1.0/hcatalog/share/hcatalog/hive-hcatalog-streaming-3.1.0.jar
切换到flume的bin目录下,运行配置文件
启动Kafka写入数据
监控flume页面情况
去hive数据表进行数据查看,数据成功同步过来。