当前位置: 首页 > article >正文

Flume采集Kafka数据到Hive

版本:

Kafka:2.4.1

Flume:1.9.0

Hive:3.1.0

Kafka主题准备:

Hive表准备:确保hive表为:分区分桶、orc存储、开启事务

Flume准备:

配置flume文件:

/opt/datasophon/flume-1.9.0/conf/kafka2hive.conf

需要将hive的jar包同步到flume的lib目录下:

/opt/datasophon/hive-3.1.0/hcatalog/share/hcatalog/hive-hcatalog-streaming-3.1.0.jar

 

切换到flume的bin目录下,运行配置文件

启动Kafka写入数据

 

 

监控flume页面情况

 

去hive数据表进行数据查看,数据成功同步过来。

 

 


http://www.kler.cn/a/371454.html

相关文章:

  • 【云原生】云原生后端:监控与观察性
  • 时序动作定位 | CASE:基于聚类的弱监督时间动作定位前景与背景分离研究(ICCV 2023)
  • WordPress与WP Engine:关键事件时间线
  • golang MarshalJson
  • 等保测评:塑造信息时代的新常态
  • Educational Codeforces Round 88 E. Modular Stability
  • 【力扣 + 牛客 | SQL题 | 每日4题】牛客SQL热题210,213,212,219
  • PART 1 数据挖掘概论 — 数据挖掘方法论
  • H.264视频压缩与MP4/MKV封装格式的详尽指南
  • 【C++】入门C++
  • Leetcode 第 420 场周赛题解
  • 数学建模清风——论文写作方法教程笔记
  • 无人机之多源信息融合算法篇
  • 【ms-swift 大模型微调实战】
  • 自动化机器学习(AutoML)详解
  • 【Spring】IocDI
  • 端到端自动驾驶模型SparseDrive论文阅读笔记
  • HarmonyOS:@Watch装饰器:状态变量更改通知
  • webAssembly初探
  • Python BeautifulSoup 实战案例:抓取网页并提取数据
  • 【C++】智能指针:解决内存泄漏、悬空指针等问题
  • 【Unity基础】初识UI Toolkit - 编辑器UI
  • 简记 Vue3(一)—— setup、ref、reactive、toRefs、toRef
  • PyTorch模块介绍
  • 【IC每日一题】
  • 【架构-36】常见的各类锁的特点