Sqoop 常用命令

Sqoop 是用于在 Hadoop 和关系型数据库（如 MySQL、Oracle 等）之间高效传输数据的工具。以下是常用的 Sqoop 命令及示例：
 

CREATE TABLE employees (
    id INT AUTO_INCREMENT PRIMARY KEY, -- 自增主键，用于唯一标识每一行
    name VARCHAR(255) NOT NULL,        -- 名称，字符串类型，不允许为空
    gender ENUM('Male', 'Female', 'Other') NOT NULL, -- 性别，枚举类型，限制为三种值之一，不允许为空
    age INT NOT NULL,                  -- 年龄，整数类型，不允许为空
    income DECIMAL(10, 2) NOT NULL     -- 收入，定点小数类型，总长度10位，其中小数点后2位，不允许为空
);

INSERT INTO employees (name, gender, age, income) VALUES 
('张三', 'Male', 30, 5000.00),
('李四', 'Female', 25, 6000.50),
('王五', 'Other', 22, 4500.75);

 Sqoop 命令核心结构

sqoop [通用参数] <操作类型> [操作参数] 

常用操作类型

通用参数

 执行sql语句

sqoop eval \
--connect jdbc:mysql://localhost/mydatabase \
--username root \
--password 123456 \
--query "select * from employees"

生成 Hive 表结构 create-hive-table

关键参数说明

sqoop create-hive-table \
  --connect jdbc:mysql://源数据库地址:端口/数据库名 \
  --username 用户名 \
  --password 密码 \
  --table 源表名 \
  --hive-table hive数据库名.hive表名  # 可选，默认在 `default` 数据库创建同名表

导入前

mysql 表结构 

hive 表

导入后

数据导入（import）hdfs

sqoop import \
  --connect jdbc:mysql://host:port/db \
  --username user \
  --password pass \
  --table source_table \
  --target-dir /hdfs/path \
  [其他参数]

常用导入参数