当前位置: 首页 > article >正文

Apache Sqoop使用

1. Sqoop介绍

Apache Sqoop 是在 Hadoop 生态体系和 RDBMS 体系之间传送数据的一种工具。
Sqoop 工作机制是将导入或导出命令翻译成 mapreduce 程序来实现。在翻译出的 mapreduce 中主要是对 inputformat 和 outputformat 进行定制。

Hadoop 生态系统包括:HDFS、Hive、Hbase 等
RDBMS 体系包括:MySQL、Oracle、DB2 等
Sqoop 可以理解为:“SQL 到 Hadoop 和 Hadoop 到 SQL”。

在这里插入图片描述
站在 Apache 立场看待数据流转问题,可以分为数据的导入导出:
Import:数据导入。RDBMS----->Hadoop
Export:数据导出。Hadoop---->RDBMS

2. Sqoop导入——import

2.1 全量导入MySQL表数据到HDFS

从 MySQL 数据库服务器中的 userdb.emp 表导入到 HDFS。

bin/sqoop import \
--connect jdbc:mysql://node-1:3306/userdb \
--username root \
--password 123456 \
--delete-target-dir \
--target-dir /sqoopresult \
--table emp \	
--m 1

–target-dir 用来指定导出数据存放至 HDFS 的目录;
–m 用来指定导入时使用几个map任务进行并行;
。。。。。。
。。。。。
。。。。
。。。
。。

更多用法请参考: Sqoop详细使用


http://www.kler.cn/news/157395.html

相关文章:

  • 详细学习Pyqt5的9种显示控件
  • vue找依赖包的网址
  • 数据结构和算法专题---2、算法思想
  • Logstash使用指南
  • Kubernetes学习笔记-Part.04 资源规划
  • 谈谈压测方案的那点事
  • 很全面 影响无人机自动返航的因素总结
  • py读取本地文件
  • tcpdump使用心得
  • Redis部署-哨兵模式
  • 二、sql绕过过滤
  • PTA 7-224 sdut-C语言实验-排序问题
  • C++ 设计模式 Forward Declaration Pimpl
  • [传智杯 #3 练习赛] 单位转换
  • 绝密人性天书
  • Python中的类(Class)和对象(Object)
  • 微服务调用组件Feign
  • 人工智能-A*算法-八数码问题
  • BiseNet实现遥感影像地物分类
  • QT之QString
  • 进入软件的世界
  • Android 如何让路由器或者其他AP设备获取到主机名
  • VQD视频质量诊断服务/图像质量诊断/视频流质量诊断/传统方法与深度学习结合的视频质量诊断
  • 基于Linux的网络防火墙设计方法
  • 记一次SQL Server磁盘突然满了导致数据库锁死事件is full due to ‘LOG_BACKUP‘.
  • python中的元组
  • JavaEE进阶学习:Spring Boot 配置文件
  • GEE:梯度卷积
  • JVM:双亲委派(未完结)
  • 在文本框中添加单位