【文件属性】:
文件名称:flume-dirtail-source
文件大小:11KB
文件格式:ZIP
更新时间:2021-06-21 05:32:52
Java
flume-dirtail-source
用途:
对一个目录的日志文件进行tail作为flume的source,可以根据文件名进行筛选(正则)
原理:
source基于exec source 进行了简化
对exec source的newSingleThreadExecutor改为多线程并行的,每几个需要监控的文件对应一个execrunnable实例
tail -F 实现对文件的持续读,log的daily rolling也是没有问题的
使用apache的vfs进行目录的监控,当文件有增删改时,都有得到一个eventlistener的回调,根据回调的事件对execrunnable进行维护,新增或者删除。
config:
agent.sources.originallog.type = org.apache.flume.source.dirtail.DirTailSource
agent.sou
【文件预览】:
flume-dirtail-source-master
----.gitignore(226B)
----README.md(2KB)
----pom.xml(1KB)
----src()
--------main()