当前位置：首页 > article >正文

DataX 抽取 MySQL 数据教程

article 2025/2/24 7:14:14

DataX 抽取 MySQL 数据教程

简介

DataX 是阿里巴巴开源的一款高效的数据同步工具，支持多种数据源之间的数据同步。本教程将指导你如何使用 DataX 从 MySQL 数据库中抽取数据，并将结果展示到控制台。

环境准备

在开始之前，请确保你已经准备好以下环境：

MySQL 数据库：确保你已经安装并配置好 MySQL 数据库，并且可以访问。
Java 环境：DataX 需要 Java 环境，确保你已经安装 JDK 1.8 或以上版本。
DataX：下载并安装 DataX。

安装 DataX

下载 DataX：
- 访问 DataX 官方 GitHub 下载最新版本的 DataX。
- 解压下载的压缩包到你的工作目录。
配置环境变量：
- 将 DataX 的 bin 目录添加到系统的 PATH 环境变量中，方便在命令行中直接使用 datax.py 命令。

创建 MySQL 数据表

创建一个测试数据库和数据表：

CREATE DATABASE testdb;
USE testdb;

CREATE TABLE users (
    id INT AUTO_INCREMENT PRIMARY KEY,
    name VARCHAR(50) NOT NULL,
    age INT,
    email VARCHAR(100)
);

INSERT INTO users (name, age, email) VALUES
('Alice', 25, 'alice@example.com'),
('Bob', 30, 'bob@example.com'),
('Charlie', 35, 'charlie@example.com');

配置 DataX 任务

在 DataX 的 job 目录下创建一个新的 JSON 配置文件，例如 mysql_to_console.json：

{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "mysqlreader",
                    "parameter": {
                        "username": "root",
                        "password": "yourpassword",
                        "column": ["id", "name", "age", "email"],
                        "connection": [
                            {
                                "table": ["users"],
                                "jdbcUrl": ["jdbc:mysql://localhost:3306/testdb"]
                            }
                        ]
                    }
                },
                "writer": {
                    "name": "streamwriter",
                    "parameter": {
                        "print": true
                    }
                }
            }
        ],
        "setting": {
            "speed": {
                "channel": 1
            }
        }
    }
}

reader：配置 MySQL 数据源的连接信息，包括用户名、密码、表名、列名等。
writer：配置数据输出的方式，这里使用 streamwriter 将数据输出到控制台。

替换 yourpassword 为你的 MySQL 数据库密码。

执行 DataX 任务

在命令行中执行以下命令来运行 DataX 任务：
```
python datax.py job/mysql_to_console.json
```
DataX 会开始从 MySQL 数据库中抽取数据，并将结果输出到控制台。

查看抽取结果

执行完 DataX 任务后，你将在控制台中看到类似以下的输出：

2023-10-01 12:00:00.000 [INFO] - Job启动成功，开始执行...
2023-10-01 12:00:01.000 [INFO] - 读取数据...
2023-10-01 12:00:02.000 [INFO] - 数据输出到控制台...
1,Alice,25,alice@example.com
2,Bob,30,bob@example.com
3,Charlie,35,charlie@example.com
2023-10-01 12:00:03.000 [INFO] - Job执行完毕，耗时：3秒