Kettle数据同步和抽取

时间:2022-12-29 11:20:41

Kettle是一款国外开源的ETL工具,纯java编写,数据抽取高效稳定。Kettle中有两种脚本文件,transformation和job,transformation完成针对数据的基础转换,job则完成整个工作流的控制。

Kettle的简单使用

下载Kettle并解压,设置环境变量新增KETTLE_HOME,指向kettle路径

Kettle数据同步和抽取

window下运行Spoon.bat,启动Kettle

首先数据库里有user_1表如下

Kettle数据同步和抽取

再新建一直目标表user_2

create table user_2 as select * from user_1 where 1=2
则完成了新表的创建

Kettle数据同步和抽取

Kettle启动界面如下

Kettle数据同步和抽取

新建一个转换,选择主对象树-新建DB连接,新建DB连接前先下载相应的oracle数据库驱动ojdbc6.jar,并放在Kettle下的lib文件夹里

Kettle数据同步和抽取

Kettle数据同步和抽取

创建DB连接后,选择核心对象-输入-新建一个表输入,并设置其属性

Kettle数据同步和抽取

选择核心对象-输出-新建一个插入/更新,并设置其属性

Kettle数据同步和抽取

目标模式为用户名
查询关键字ID用于插入时判断是新增还是更新,点击确定后并保存改新建的转换文件。

新建一个job,选择核心对象-通用-分别新建一个START和转换,并设置其属性。

Kettle数据同步和抽取Kettle数据同步和抽取

转换文件名的文件指向之前保存的转换1.点击运行即可。运行结果如下

Kettle数据同步和抽取

再看user_2表,可以发现user_1中的数据同步到user_2表了

Kettle数据同步和抽取