当前位置: 首页 > article >正文

【Kettle的安装与使用】使用Kettle实现mysql和hive的数据传输(使用Kettle将mysql数据导入hive、将hive数据导入mysql)

文章目录

  • 一、安装
    • 1、解压
    • 2、修改字符集
    • 3、启动
  • 二、实战
    • 1、将hive数据导入mysql
    • 2、将mysql数据导入到hive


一、安装

Kettle的安装包在文章结尾

1、解压

在windows中解压到一个非中文路径下

2、修改字符集

修改 spoon.bat 文件
[图片]

"-Dfile.encoding=UTF-8"

3、启动

以管理员身份运行 spoon.bat 文件

二、实战

1、将hive数据导入mysql

kettle连接hive前配置:
[图片]

[图片]

[图片]

[图片]

[图片]

[图片]

[图片]

[图片]

[图片]

[图片]

[图片]

[图片]

2、将mysql数据导入到hive

和将hive数据导入mysql一样

有时候,运行成功,有时候只能导入 2 条数据,然后报错,可以在 hive 的 conf 下的 .hiverc 下,添加如下:

set hive.stats.column.autogather=false;

然后不需要重启 hiveserver2 以及 kettle,直接运行即可。

通过网盘分享的文件:Kettle
链接: Kettle安装包
提取码: 1234


http://www.kler.cn/a/380046.html

相关文章:

  • Rust 力扣 - 1423. 可获得的最大点数
  • C++ 模板专题 - 静态分支(if)
  • Go语言常见数据结构实现原理
  • 笔记-利率学习记录
  • python 五子棋小游戏
  • <项目代码>YOLOv8 夜间车辆识别<目标检测>
  • 思科路由器静态路由配置
  • 讲讲⾼并发的原则?
  • 从 vue 源码看问题 — vue 初始化都做了什么事?
  • CentOS Linux教程(11)--查看文件
  • RK3229 Android9自定义一个按键实现长按短按
  • 鸿蒙next字符串基础:掌握字符串操作与多语言支持
  • 如何选择最适合的消息队列?详解 Kafka、RocketMQ、RabbitMQ 的使用场景
  • Seelen UI 界面介绍与苹果界面类似
  • 易泊车牌识别相机:夜间识别的卓越之选
  • 【大语言模型】ACL2024论文-04 PriveLM-Bench: 语言模型多层次隐私评估基准
  • Pytorch学习--神经网络--搭建小实战(手撕CIFAR 10 model structure)和 Sequential 的使用
  • 网络爬虫的定义
  • [pdf,epub]105页《分析模式》漫谈合集01
  • 深入剖析卷积神经网络中的卷积核
  • django的一些文件
  • docker配置mysql
  • Qt聊天室项目
  • 【系统架构设计师(第2版)】目录
  • 深入解析 Linux initramfs:从基础到高级应用
  • python机器人Agent编程——实现一个机器人DH参数自动生成Agent(上)