当前位置：首页 > article >正文

使用datax从mysql导入数据到taosdb中

article 2025/2/28 19:51:45

taos安装不用说了，下载个rpm包，直接安装。

根据业务规则，创建超级表，子表

1、data下载地址

https://github.com/alibaba/DataX/blob/master/userGuid.md

下载并解压

2、下载插件源码，编译

GitHub - taosdata/DataX: DataX是阿里云DataWorks数据集成的开源版本。涛思数据基于DataX，开发了TDengine的Writer和Reader插件，为用户提供ETL和数据迁移的工具。

3、编译后的tdengine30writer 目录放到/root/datax/plugin/writer 中，与其他插件放一起。

[root@node1 writer]# ll tdengine30writer/
total 60
drwxr-xr-x 2 root root  4096 Sep  3 19:57 libs
-rw-r--r-- 1 root root   320 Sep  3 20:05 plugin_job_template.json
-rw-r--r-- 1 root root   299 Sep  3 19:33 plugin.json
-rw-r--r-- 1 root root 45210 Sep  3 22:04 tdengine30writer-0.0.1-SNAPSHOT.jar

4、编写job.json

{
    "job": {
        "setting": {
            "speed": {
                 "channel":1
            }
        },
        "content": [
            {
                "reader": {
                    "name": "mysqlreader",
                    "parameter": {
                        "username": "root",
                        "password": "root",
                        "connection": [
                            {
                                "querySql": [
                                    "select CONCAT_WS('_',login_name,user_id) as tbname,create_time,login_ip,user_name from sys_user;"
                                ],
                                "jdbcUrl": [
                                    "jdbc:mysql://127.0.0.1:33306/ry"
                                ]
                            }
                        ]
                    }
                },
                "writer": {
				  "name": "tdengine30writer",
				  "parameter": {
					"username": "root",
					"password": "taosdata",
					"column": [
					  "tbname",
					  "create_time",
					  "login_ip",
					  "user_name"
					],
					"connection": [
					  {
						"table": [
						  "test_tbname"
						],
						"jdbcUrl": "jdbc:TAOS://10.0.24.10:6030/ry"
					  }
					]
				  }
				}
            }
        ]
    }
}

*******注意：taos 字段是小写，如果mysql字段有大写的话，写不进去

5、启动job