kettle 6.1 按时间循环增量抽取数据

时间:2023-03-08 23:34:22
kettle 6.1 按时间循环增量抽取数据

场景:假设有一张表数据量很大,需要按一个时间来循环增量抽取

方法:主要是通过JOB自身调用,实现循环调用,类似于 函数自调用 的循环。

1.JOB全图:

kettle 6.1 按时间循环增量抽取数据

2.获取增量时间,并设置增量时间环境变量

kettle 6.1 按时间循环增量抽取数据

3.通过增量环境变更,获取本次 增量数据

kettle 6.1 按时间循环增量抽取数据

4.判断增量时间是否大于当前时间,判断是否继续执行一次的增量

kettle 6.1 按时间循环增量抽取数据

5.调用总JOB自身,实现循环调用

kettle 6.1 按时间循环增量抽取数据