ETL工具 - Kettle 介绍及基本使用
一、Kettle 介绍
在介绍 Kettle
前先了解下什么是 ETL
,ETL
是 Extract-Transform-Load
的缩写,即数据 抽取、转换、装载 的过程,对于企业或行业应用来说,经常会遇到各种异构数据的处理、转换、迁移等操作,这些操作有可能会面对大量的数据和繁琐的步骤,因此就萌生了一些 ETL
处理工具,市面上常见的ETL
工具有很多,比如Sqoop、DataX、Kettle、Talend
等,本篇文章就主要来介绍下 Kettle
工具。
Kettle
(水壶)是一款国外开源的ETL
工具,现在已经更名为PDI
,Pentaho Data Integration-Pentaho
的缩写,由纯 java
编写,可以在Window、Linux、Unix
上运行,绿色无需安装,数据抽取高效稳定。它可以处理各种异构数据库中的数据,并且提供了可视化图形界面的方式进行操作,让你思路主要关注在如果处理数据上,而不是如何实现处理的过程,特点如下图介绍:
Kettle
的官网地址如下:
https://community.hitachivantara.com/home
如上图介绍 ,Kettle
分了两种脚本文件,transformation
(转换)和 job
(作业) ,transformation
主要完成对数据的处理和转换,job
则完成整个工作流的控制,一个 job
可以包含多个 transformation
,如下图所示:
另外在 Kettle
中又包含了 4
个核心组件,分别如下:
- 勺子(Spoon.bat / Spoon.sh) : 图像化界面,可以通过图形化界面交互方式开发
transformation
和job
。 - 煎锅(Pan.bat / pan.sh): 可以用命令行的形式执行由
Spoon
编辑的transformation
和job
。 - 厨房(Kitchen.bat / kitchen.sh) : 可以使用命令行调用由
Spoon
编辑好的job
。 - 菜单(Carte.bat / carte.sh) : 一个轻量级的
Web
容器,用户建立远程ETL Server
。
二、Kettle 安装
安装前,需要电脑上已经安装配置好 jdk
环境,版本建议1.8
及以上。
下载kettle
压缩包:
https://sourceforge.net/projects/pentaho/files/Pentaho%209.1/
Kettle
为绿色软件,下载后可以解压到任意本地路径,但注意尽量不要带有中文路径,不然会出现意想不到的效果。
其中 Kettle
的目录说明如下:
三、Kettle 使用基本介绍
双击解压目录下的 Spoon.bat
即可启动图形化界面工具,启动过程有点慢耐心等待下,如果启动失败,可以修改下 JVM
的最堆内存的大小, Spoon.bat
文件下:
等待片刻后会进到如下页面:
在 工具栏/文件/新建 下可以选择创建一个转换和作业:
3.1 转换
转换(transaformation
) 主要负责数据的输入、转换、校验和输出等工作。转换由多个Step
(步骤) 组成,如文本文件输入,过滤输出行,执行 SQL
等。各个步骤之间使用 Hop
(跳) 来链接。
Step
是转换里的基本的组成部分,比如上面的 CSV文件输入
和Excel输出
,一个Step
有如下几个关键特性:
Step
需要有一个名字,这个名字在同一个转换范围内唯一。Step
将数据写到与之相连的一个或多个输出Hop
,再传送到指向的另一端的Step
。- 大多数的
Step
都可以有多个输出,当出现多个输出时可以选择复制或分发,复制是所有的记录被同时发送到所有的目标步骤,分发是目标步骤轮流接收记录:
Hop
是 Step
之间带箭头的连线,定义了数据的通路。Hop
实际上是两个Step
之间被称之为行集的数据行缓存,行集的大小可以在转换的设置里定义。当行集满时,向行集写数据的 Step
将停止写入,直到行集里又有了空间。当行集空了,从行集读取数据的 Step
停止读取,直到行集里又有可读的数据行。
其中转换属性可以双击空白处:
3.2 数据元数据
每个步骤在输出数据行时都有对字段的描述,也就是数据行的元数据。元数据通常包含下面一些信息。
- 名称:数据行里的字段名是唯一的
- 数据类型:字段的数据类型
- 格式:数据显示的方式,如
Integer
的#、0.00
- 长度:字符串的长度或者
BigNumber
类型的长度 - 精度:
BigNumber
数据类型的十进制精度 - 货币符号:
¥
- 小数点符号:十进制数据的小数点格式。不同文化背景下小数点符号是不同的,一般是点(
.
)或逗号(,
) - 分组符号:数值类型数据的分组符号,不同文化背景下数字里的分组符号也是不同的,一般是点(
.
)或逗号(,
)或单引号(’
)
3.3 数据的类型
Kettle
中的数据区分了数据的类型,类型包含如下几种:
String
:字符类型数据Number
:双精度浮点数。Integer
:带符号长整型(64
位)。BigNumber
:任意精度数据。Date
:带毫秒精度的日期时间值。Boolean
:取值为true
和false
的布尔值。Binary
:二进制字段可以包含图像、声音、视频及其他类型的二进制数据。
3.2 作业
作业 (Job
),负责定义一个完成整个工作流的控制,比如将转换的结果发送邮件给相关人员。因为转换(transformation
)以并行方式执行,如果需要一个串行的调度工具来执行转换,就可以使用作业:
四、Kettle 数据处理案例
例如有如下 CSV
数据,其中字段分别表示:用户ID、用户名、性别、成绩1、成绩2、成绩3
:
id,name,sex,grade1,grade2,grade3
1,小明,男,90,80,70
2,小红,女,91,81,71
3,小兰,女,92,82,72
4,小爱,女,93,83,73
5,张三,男,94,84,74
6,李四,男,95,85,75
7,王五,男,96,86,76
8,赵六,男,97,87,77
9,小六,男,98,88,78
10,小七,男,99,89,79
现有需求:要求计算出每个人的总成绩和平均分,将结果输出到 Excel
中。
新建一个转换:
拖入一个 CSV
文件输入:
双击 CSV
文件输入,选择 CSV
文件、编码等:
可以点击预览查看数据:
下面拖入一个 计算器 ,计算成绩总和:
按住 Shift
连接上 CSV
文件输入和 计算器:
双击计算器,修改名称,并指定计算方式:
此时可以运行下看下计算结果:
可以看到已经计算出了总成绩,下面计算平均分数的话还需要一个常量 3
:
双击进入修改名称和指定常量值:
下面再拖一个计算器,计算平均分数,参数如下:
到这可以运行下看下结果:
可以看到已经计算出平均成绩了,下面就可以输出到 Excel
中了,拖入一个 Excel
输出:
双击进入修改属性:
再进入到字段下指定输出的字段,其中 num
字段仅仅是为了计算用的,这里删除掉:
最后运行转换,到输出目录下查看 Excel
中的内容:
已经写入处理后的数据。