ElasticSearch导入数据时的增量更新(logstash)

时间:2024-03-27 10:20:05

在conf中添加部分配置(下图),配置好了以后,可以使用    “:sql_last_value” 来引用追踪字段。

比如:最后一个更新的id为10,那么下一次更新时,如果 id<:sql_last_value的话就不会更新

schedule的五个 * 默认的是每分钟执行一次,这样就可以达到一个简单的增量更新的作用了。

如果是要有修改就更新,可以在数据库添加一个时间列  (es不是东八区时间,自己调整一下),

将时间列保存在文本中,下一个更新的时候

比对该时间列,如果有更新时间大于文本保留时间的,就执行。

ElasticSearch导入数据时的增量更新(logstash)