当前位置: 首页 > article >正文

sqoop导入hdfs,hive

sqoop将mysql中的表导入到hdfs中

sqoop import \
> --connect jdbc:mysql://192.168.52.150/test \
> --username root \
> --password 123456 \
> --table emp \
> --delete-target-dir \
> --target-dir '/sqoop_works/emp_1'

在这里插入图片描述
将数据导入hive中,首先要在hive中创建目标表

create database hivesqoop;
use hivesqoop;
create table hivesqoop.emp_add_hive(
    id int,
    hon string,
    street string,
    city string
)
row format delimited fields terminated by '\t'
stored as orc;

然后导入

 sqoop import --connect jdbc:mysql://192.168.52.150/test --username root --password 123456 --table emp_add --hcatalog-database hivesqoop --hcatalog-table emp_add_hive -m 1

将增量数据导入hdfs中
加上 --where id >= 120

hive导出到MySQL 是换个方向。


http://www.kler.cn/a/443140.html

相关文章:

  • 【Vim Masterclass 笔记09】S06L22:Vim 核心操作训练之 —— 文本的搜索、查找与替换操作(第一部分)
  • leetcode 面试经典 150 题:单词规律
  • 安装vue脚手架出现的一系列问题
  • vue2日历组件
  • Boost.Asio 同步读写及客户端 - 服务器实现详解
  • 快速上手:采用Let‘sEncrypt免费SSL证书配置网站Https (示例环境:Centos7.9+Nginx+Let‘sEncrypt)
  • Linux查看是否有www-data用户,如果没有添加一个
  • 算法-Z-order算法
  • form表单校验对象中的对象的属性 / 根据表单中某一个数据动态添加其他项是否必填
  • 软件测试丨性能测试基本概念
  • CAD学习 day3
  • MySQL系列之数据类型(String)
  • qt-C++笔记之继承自 QWidget和继承自QObject 并通过 getWidget() 显示窗口或控件时的区别和原理
  • 绿色浪潮,VELO Angel Glide坐垫奏响环保骑行乐章
  • VUE3 笔记总结
  • abc 384 D(子数组->前缀和) +E(bfs 扩展的时候 按照数值去扩展)
  • 【中工开发者】HarmonyOS APP打怪小游戏
  • QMainwindow的鼠标跟踪事件不触发问题
  • C/C++ 匿名namespace和有名namespace的区别
  • 面试小札:闪电五连鞭_5
  • tryhackme-Pre Security-Defensive Security Intro(防御安全简介)
  • Parcel 常用插件:增强功能与性能的最佳选择
  • ASRPRO学习笔记二之语音控制LED亮灭
  • 鸿蒙操作系统简介
  • git 怎么删除一个远程分支
  • 代理IP与生成式AI:携手共创未来