flume包，用于数据的采集

【文件属性】：
文件名称：flume包，用于数据的采集
文件大小：49.63MB
文件格式：GZ
更新时间：2022-02-01 10:36:45
flume flume的包。flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。Client：Client生产数据，运行在一个独立的线程。    　Event： 一个数据单元，消息头和消息体组成。（Events可以是日志记录、 avro 对象等。） 　　Flow： Event从源点到达目的点的迁移的抽象。 　　Agent： 一个独立的Flume进程，包含组件Source、 Channel、 Sink。（Agent使用JVM 运行Flume。每台机器运行一个agent，但是可以在一个agent中包含多个sources和sinks。） 　　Source： 数据收集组件。（source从Client收集数据，传递给Channel） 　　Channel： 中转Event的一个临时存储，保存由Source组件传递过来的Event。（Channel连接 sources 和 sinks ，这个有点像一个队列。） 　　Sink： 从Channel中读取并移除Event， 将Event传递到FlowPipeline中的下一个Agent（如果有的话）（Sink从Channel收集数据，运行在一个独立线程。）