Kettle 4.4.0 通过 Java 代码 输出日志到表
之所以选择4.4.0，因为公司还在用Java6编程……但是项目的需求是：实施人员上传kettle的文件，然后在界面上点击运行，运行完之后需要在页面上看日志。当然 kettle 是自带日志输出功能的，不过我们总不能跟客户说：“你在kettle里面定义好日志输出，然后自己去数据库或者某个文件夹中查询日志...
kettle实战 : mongodb2oracle 操作示例
工具：1.kettle 7.02.mongodb oracle操作目的：将mongodb中的数据同步到oracle数据库中便于统计。步骤总图mongodb 配置：1.mongodb连接 配置这里的username 和 password 需要能够访问对应的库2.配置正确后 可以通过getdbs 查询到...
Kettle单节点安装
Kettle是一个基于Java的免费开源软件，是一个ETL工具。它可以在Linux, Mac, Windows上绿色安装。安装前准备安装JDK运行Kettle 8.3以上版本需要jdk 1.8。下载链接：我下载的是最新版本pdi-ce-9.0.0.0***.zip。PDI是Pentaho Data ...
Kettle发送邮件以及 Could not connect to SMTP host: smtp.qq.com, port: 465，535 Login Fail.问题处理
1、新建一个job（作业)2、发送邮件设置2.1 邮件服务器设置2.2 发件内容设置3、发送执行作业转换4、465 端口登录失败问题5、 535 Login Fail. Please enter 问题处理 最近开始研究开源的ETL工具Kettle。记录一下发送邮件的功能。1、新建一个job（作业)...
KETTLE中的Excle输出
KETTLE中的Excle输出核心对象 --> 输出 --> Excel表输出，将Excel输出拖入到转换页面中，或者双击都可以。双击”Excel输出”，在”Excel输出”窗口中进行参数的配置，这里最好将扩展名中默认填写的xls去掉，如果不去掉在生成文件会是以“file.xls.xls...
【一】kettle使用表输入，表输出控件入门小demo
使用表输入，表输出控件的demo，本人使用的是7.1的版本一/创建一个新的转换文件–新建–转换，会得到如下图的空白转换页面面板左边主要有主对象树和核心对象两个部分主对象数里面主要要用到的就是DB连接，这主要是配置连接数据库的地方核心对象主要用到的是输入和输出两个分类，输入就是你的kettle获取数据...
kettle-数据同步比较数据（删除更新）
需求是这样的：从A数据库取数据到B数据库，A库中表只包含有效数据，因此同步到B库中也只能包含有效数据，其他的数据要么更新，要么删除，或者新增。总体解决方案：因为脚本是第三方执行的，我们没有权限执行脚本，同样也没有第三方也就是上面说的A库的权限，因此我们一开始一直纠结怎么取数据，把解决问题的点一直关注...
kettle 入门 案例（二） 实现多表连接查询，数据同步到一个表
首先建立两个DB连接，如图：然后点击核心对象，点击输入，拖一个表输入到转换页面，再点击输出，将插入/更新拖到转换页面，并按住shift连接。如图所示：双击表输入，在sql里面写上表连接的sql语句,点击预览，如果有数据，则确定；双击插入/更新，编辑需要映射的字段，需要注意的是id如果是标识列就不需要...
Kettle 中常用 控件一览
Data Grid:The Data Grid step allows you to enter a static list of rows in a grid. This is usually done for testing, reference or demo purposes. Calcu...
kettle/tomcat报错至少有一个步骤未初始化
这个报错信息如果kettle工具可以打开,但是项目调用kettle报错,或者远程调用报错,错误原因之一:检查编码格式是否相同,添加characterEncoding是否为utf-8,保持项目和kettle编码格式相同.
kettle中变量的使用以及变量无法支持时的解决方案
为什么80%的码农都做不了架构师？>>> 以下两篇文章中讲解了在kettle中使用$及?，当?无法满足我们的需求时，我们怎么办？Dynamic SQL Queries in PDI a.k.a. Kettlekettle中实现动态SQL查询?只支持单个占位，如果要有多个参数要传...
在kettle中快速更新一个字段中的信息
数据库中有订单表tb_order，其中有order_id和user_id和user_name等字段。 数据库中有用户资料表tb_user，其中有user_id和user_name等字段。 现在需要使用tb_user.user_name来更新tb_order.user_name，两个表的关联条件是tb...
Linux 执行kettle ktr脚本
环境 centos8,mysql1.上传data-integration到服务器准备data-integration压缩包,通过filezilla上传到linux服务器,此处上传到/var/kettle下2.解压unzip pdi-ce-8.3.0.0-371.zip3.进入data-integra...
kettle运行Spoon时右键会导致无响应的解决方法
一般来说可以正常打开进入到这个界面，但是一旦新建一个转换后在主对象树下对DB连接右键时就会未响应这张图是解决问题后正常的情况，而未解决前对DB连接右键就会未响应在CSDN上以及网上找过解决方法，但实际上比较少解决方案。大多数都是修改内存设置，也就是把Spoon.bat中的if “%PENTAHO_D...
Kettle小细节（输出数据分发和复制）
笔者在学习过程中遇到这样一个问题： 例子：生成 100 个随机数，随机数取值于[0，100）之间， 计算小于等于 50 的随机数个数和 大于50 的随机数个 数。 并把这两个统计数字放在数据库表的一行的两列中， 即输出的结果有一行，一行包括两列，每列是一个统 计值 出现的问题：程序运行到计算...
kettle接入web服务（JSON格式返回值）
1、获取接口数据，并生成js文件 如下图所示： 1.1 生成记录控件：通过该控件将web服务地址保存到一个字段中，作为参数，传递到HTTP client中，如下图所示1.2 HTTP client控件：将上个控件中的参数字段配置到本控件中，Fields页不用配置，如下图所示：1.3 文本文件输...
kettle利用时间戳（timestamp）做增量抽取
创建两个表：用户为Scottcreate table zhiyuanb(填表日期 Date primary Key, 姓名 Varchar2(10) Not Null, 年龄 Number(3) , 居住地 Varchar2(100),)用户为hr...
kettle使用笔记（mysql操作篇）
2019独角兽企业重金招聘Python工程师标准>>> 注：老规矩在不泄露公司信息的前提下操作4 kettle与mysql4.1 mysql-mysql数据操作4.1.1 全库迁移此操作的目的是一次性将源数据库中的表全部抽取到目标库中，本例子的流程是将ip为XXXXXXXX的my...
如何彻底解决Kettle无法连接MySQL8的缺陷？
一、背景在使用Kettle对数据进行处理时，最常见的操作莫过于关系数据库的使用，然而使用最新版本Kettle8常面临以下几个痛点：不支持MySQL8。 MySQL是当前最流行的开源关系数据库，用户基数仅次于Oracle。由于具有更好的性能，目前很多系统都已经用上了最新版本MySQL8。比较遗憾的是K...
linux 环境下设置Kettle的转换，作业定时执行简单操作
1，Centos目录下面创建三个文件（kettleFile--存放kettle的转换或者作业；kettleLogs--存放运行中的日志；kettleShs--存放任务定时的shell文件）A2，对应的shell定时文件设置：①Kettle的转换文件对应的shell文件--test_tr.sh（ket...