Storm可靠性-storm实时处理

时间:2021-04-26 10:31:02
【文件属性】:
文件名称:Storm可靠性-storm实时处理
文件大小:1.42MB
文件格式:PPT
更新时间:2021-04-26 10:31:02
大数据 storm Storm可靠性 高可靠 对于Storm,它有一个很重要的特性:“Guarantee no data loss” ——可靠性 很显然,要做到这个特性,必须要track每个data的去向和结果。Storm是如何做到的呢——acker机制。 先概括下acker所参与的工作流程: 1. Spout创建一个新的Tuple时,会发一个消息通知acker去跟踪; 2. Bolt在处理Tuple成功或失败后,也会发一个消息通知acker; 3. acker会找到发射该Tuple的Spout,回调其ack或fail方法。 Storm的Bolt有IBsicBolt和IRichBolt,在IBasicBolt中,BasicOutputCollector在emit数据的时候,会自动和输入的tuple相关联,而在execute方法结束的时候那个输入tuple会被自动ack。 使用IRichBolt时要实现ack,则需要在emit数据的时候,显示指定该数据的源tuple,即collector.emit(oldTuple, newTuple);并且需要在execute执行成功后调用源tuple的ack进行ack。

网友评论