Spark Streaming使用Kafka保证数据零丢失

时间:2021-10-20 00:07:53

Spark Streaming使用Kafka保证数据零丢失

Kafka Spark Streaming   2016-02-02 09:06:58 发布
您的评价:       0.0
收藏     0收藏

来自: https://community.qingcloud.com/topic/344/spark-streaming使用kafka保证数据零丢失

spark streaming从1.2开始提供了数据的零丢失,想享受这个特性,需要满足如下条件:

  1. 数据输入需要可靠的sources和可靠的receivers

  2. 应用metadata必须通过应用driver checkpoint

  3. WAL(write ahead log)

可靠的sources和receivers

spark streaming可以通过多种方式作为数据sources(包括kafka),输入数据通过receivers接收,通过replication存储于spark中(为了faultolerance,默认复制到两个spark executors),如果数据复制完成,receivers可以知道(例如kafka中更新offsets到zookeeper中)。这样当receivers在接收数据过程中crash掉,不会有数据丢失,receivers没有复制的数据,当receiver恢复后重新接收。

Spark Streaming使用Kafka保证数据零丢失

metadata checkpoint

可靠的sources和receivers,可以使数据在receivers失败后恢复,然而在driver失败后恢复是比较复杂的,一种方法是通过checkpoint metadata到HDFS或者S3。metadata包括:

  • configuration
  • code
  • 一些排队等待处理但没有完成的RDD(仅仅是metadata,而不是data) 
    Spark Streaming使用Kafka保证数据零丢失

这样当driver失败时,可以通过metadata checkpoint,重构应用程序并知道执行到那个地方。

数据可能丢失的场景

可靠的sources和receivers,以及metadata checkpoint也不可以保证数据的不丢失,例如:

  • 两个executor得到计算数据,并保存在他们的内存中
  • receivers知道数据已经输入
  • executors开始计算数据
  • driver突然失败
  • driver失败,那么executors都会被kill掉
  • 因为executor被kill掉,那么他们内存中得数据都会丢失,但是这些数据不再被处理
  • executor中的数据不可恢复

WAL

为了避免上面情景的出现,spark streaming 1.2引入了WAL。所有接收的数据通过receivers写入HDFS或者S3中checkpoint目录,这样当driver失败后,executor中数据丢失后,可以通过checkpoint恢复。

Spark Streaming使用Kafka保证数据零丢失

At-Least-Once

尽管WAL可以保证数据零丢失,但是不能保证exactly-once,例如下面场景:

  • Receivers接收完数据并保存到HDFS或S3

  • 在更新offset前,receivers失败了

    Spark Streaming使用Kafka保证数据零丢失
  • Spark Streaming以为数据接收成功,但是Kafka以为数据没有接收成功,因为offset没有更新到zookeeper

  • 随后receiver恢复了

  • 从WAL可以读取的数据重新消费一次,因为使用的kafka High-Level消费API,从zookeeper中保存的offsets开始消费

WAL的缺点

通过上面描述,WAL有两个缺点:

  • 降低了receivers的性能,因为数据还要存储到HDFS等分布式文件系统
  • 对于一些resources,可能存在重复的数据,比如Kafka,在Kafka中存在一份数据,在Spark Streaming也存在一份(以WAL的形式存储在hadoop API兼容的文件系统中)

Kafka direct API

为了WAL的性能损失和exactly-once,spark streaming1.3中使用Kafka direct API。非常巧妙,Spark driver计算下个batch的offsets,指导executor消费对应的topics和partitions。消费Kafka消息,就像消费文件系统文件一样。

Spark Streaming使用Kafka保证数据零丢失

  1. 不再需要kafka receivers,executor直接通过Kafka API消费数据

  2. WAL不再需要,如果从失败恢复,可以重新消费

  3. exactly-once得到了保证,不会再从WAL中重复读取数据

总结

主要说的是spark streaming通过各种方式来保证数据不丢失,并保证exactly-once,每个版本都是spark streaming越来越稳定,越来越向生产环境使用发展。

参考

原文链接: https://github.com/jacksu/utils4s/blob/master/spark-knowledge/md/spark_streaming使用kafka保证数据零丢失.md

Xuanwo@QingCloud

同类热门经验

  1. 基于ZooKeeper的分布式Session实现
  2. 谷歌三大核心技术(一)Google File System中文版
  3. Hadoop 实战实例
  4. 谷歌三大核心技术(二)Google MapReduce中文版
  5. 轻松使用Hadoop RPC
  6. 为什么Hadoop将一定会是分布式计算的未来?

阅读目录

<iframe style="BOX-SIZING: border-box; BORDER-BOTTOM: 0px; BORDER-LEFT: 0px; MARGIN: 0px; VERTICAL-ALIGN: bottom; BORDER-TOP: 0px; BORDER-RIGHT: 0px" id="iframeu2669791_0" height="500" marginheight="0" src="http://pos.baidu.com/lctm?rdid=2669791&amp;dc=2&amp;di=u2669791&amp;dri=0&amp;dis=0&amp;dai=1&amp;ps=772x1259&amp;dcb=BAIDU_SSP_define&amp;dtm=BAIDU_DUP_SETJSONADSLOT&amp;dvi=0.0&amp;dci=-1&amp;dpt=none&amp;tsr=0&amp;tpr=1467032304925&amp;ti=Spark%20Streaming%E4%BD%BF%E7%94%A8Kafka%E4%BF%9D%E8%AF%81%E6%95%B0%E6%8D%AE%E9%9B%B6%E4%B8%A2%E5%A4%B1%20-%20OPEN%20%E5%BC%80%E5%8F%91%E7%BB%8F%E9%AA%8C%E5%BA%93&amp;ari=1&amp;dbv=2&amp;drs=1&amp;pcs=1903x930&amp;pss=1903x4567&amp;cfv=0&amp;cpl=24&amp;chi=1&amp;cce=true&amp;cec=UTF-8&amp;tlm=1467032304&amp;rw=930&amp;ltu=http%3A%2F%2Fwww.open-open.com%2Flib%2Fview%2Fopen1454374772948.html&amp;ltr=https%3A%2F%2Fwww.baidu.com%2Flink%3Furl%3Dk1Zyi_GJwVyZikLSIiVBtFawbvRQf14Zd52vnc2aqfS38Z2xEMQNhaHxBt_33ASFBxvAVOsS3vX_sttw9DrxMsfFVHCEjhwwuckpHY6S1V7%26wd%3D%26eqid%3Dca466aca0001fa9e00000004577120f4&amp;ecd=1&amp;psr=1920x1080&amp;par=1920x1050&amp;pis=-1x-1&amp;ccd=24&amp;cja=false&amp;cmi=32&amp;col=zh-CN&amp;cdo=-1&amp;tcn=1467032305&amp;qn=c326612cc6664a52&amp;tt=1467032304863.66.386.386" frameborder="0" width="260" allowtransparency="" marginwidth="0" scrolling="no" align="center,center" _xhe_src="http://pos.baidu.com/lctm?rdid=2669791&amp;dc=2&amp;di=u2669791&amp;dri=0&amp;dis=0&amp;dai=1&amp;ps=772x1259&amp;dcb=BAIDU_SSP_define&amp;dtm=BAIDU_DUP_SETJSONADSLOT&amp;dvi=0.0&amp;dci=-1&amp;dpt=none&amp;tsr=0&amp;tpr=1467032304925&amp;ti=Spark%20Streaming%E4%BD%BF%E7%94%A8Kafka%E4%BF%9D%E8%AF%81%E6%95%B0%E6%8D%AE%E9%9B%B6%E4%B8%A2%E5%A4%B1%20-%20OPEN%20%E5%BC%80%E5%8F%91%E7%BB%8F%E9%AA%8C%E5%BA%93&amp;ari=1&amp;dbv=2&amp;drs=1&amp;pcs=1903x930&amp;pss=1903x4567&amp;cfv=0&amp;cpl=24&amp;chi=1&amp;cce=true&amp;cec=UTF-8&amp;tlm=1467032304&amp;rw=930&amp;ltu=http%3A%2F%2Fwww.open-open.com%2Flib%2Fview%2Fopen1454374772948.html&amp;ltr=https%3A%2F%2Fwww.baidu.com%2Flink%3Furl%3Dk1Zyi_GJwVyZikLSIiVBtFawbvRQf14Zd52vnc2aqfS38Z2xEMQNhaHxBt_33ASFBxvAVOsS3vX_sttw9DrxMsfFVHCEjhwwuckpHY6S1V7%26wd%3D%26eqid%3Dca466aca0001fa9e00000004577120f4&amp;ecd=1&amp;psr=1920x1080&amp;par=1920x1050&amp;pis=-1x-1&amp;ccd=24&amp;cja=false&amp;cmi=32&amp;col=zh-CN&amp;cdo=-1&amp;tcn=1467032305&amp;qn=c326612cc6664a52&amp;tt=1467032304863.66.386.386"></iframe>
相关文档  — 更多 相关经验  — 更多