Others-大数据平台Lambda架构浅析(全量计算+增量计算)

时间:2022-01-06 11:27:02

大数据平台Lambda架构浅析(全量计算+增量计算)

2016年12月23日 22:50:53 scuter_victor 阅读数:1642 标签: spark大数据lambda 更多
个人分类: 造*Spark
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/SCTU_vroy/article/details/53844460

笔者刚接触大数据方面时,只知道Hadoop和时下很火的Spark,对Hadoop、Spark的认知只停留在跑跑demo,写点离线小app,后来随着学业项目的需要,开始逐步了解时下工业界的大数据平台是如何搭建起来的。在搜刮大量资料后,从一篇paper里看到Lambda这一陌生的字眼,再一搜,发现这正是我需要的大数据平台基础架构。Oryx2正是基于Lambda架构和Spark搭建的大数据处理开源框架。 
废话不多说,谨以此篇博文记录自己对lambda架构的理解 
Others-大数据平台Lambda架构浅析(全量计算+增量计算) 
上图便是从lambda官网盗取的架构图

1:所有数据都来自于同一入口,然后被分发到batch layer(批处理层)和speed layer(实时计算层) 
对于数据来源,可参考Oryx2的做法,统一采用Kafka接入Spark Streaming,然后再根据订阅的topic分发数据到batch layer和speed layer。关于Kafka接入Spark Streaming,确实挺多坑,当然对Kafka熟悉的大神就很easy,对我这种菜鸡来说着实吃力。 
我试了两种方式(Kafka 0.10.1 + Spark 2.0.0): 
1)Spark官网提供的方法,详尽参考Spark Streaming + Kafka Integration Guide (Kafka broker version 0.10.0 or higher),按照教程一步一步来,肯定可以成功 
2)使用开源框架kafka-spark-consumer,由于此框架对应的spark版本是spark1.6.0,kafka支持的版本有0.8、0.9、0.10,所以可以放心接入,只是使用spark2.0+的童鞋需要手动更改下框架中提供的demo(SampleConsumer.java),此框架亲测可用!

2:batch layer官网给出简略解释是:两个作用{1)管理全量数据(不可变的,且只用append方式增加数据;2)处理全量数据得出模型–>结果) 
对于batch layer,主要用于全量计算,处理所有历史数据,这里有三点注意: 
1)数据是有限的 
2)数据需要被持久化 
3)数据量大–>导致处理过程high latency 
那么,批处理层怎么实现好呢? 
从Kafka接入数据到Spark Streaming后,处理每个rdd,将rdd中数据解析结构化并持久化到HDFS中。笔者是基于HBase+Parquet+Spark SQL的机制来做处理,首先将所有原数据保存到HBase的一张表中,然后根据row key(可加入时间戳)读取HBase数据,根据读取到的数据从remote server文件数据源服务器fetch文件到平台的HDFS,用Parquet记录文件中需要作为训练集的信息,训练模型时再用Spark SQL去读parquet file(仅供参考,过程可根据业务不同调整)

3:serving layer主要用于merge 批处理层和speed层结果,供外部web接口查询结果用的

4:speed layer的出现主要是弥补batch layer高延时的缺点,是一种增量计算的处理层 
怎么理解和实现“增量计算”呢?说实话,这着实让我费解了好久…… 
其实,说白了,就是对从时间起始点开始进入系统的数据,采用分块处理的方式,将数据分成各自独立的进行处理,即micro-batch processing。Spark Streaming就是基于这种思想衍生而来的。 
对于流入speed layer的数据集,有三点需要注意: 
1)数据是“无限”的 
2)当前处理中的数据集(工作集)可能是相关的,且同时只限制于当前数据集(即与其他数据集无关) 
3)处理是基于事件的,只有被明确停止才会结束;得到的结果会立即生效并且随着新数据进入会实时更新 
当前很火的流计算框架有:Storm、Spark Streaming等 
Spark Streaming官网这张图就很直观的解释了什么是micro-batch processing: 
Others-大数据平台Lambda架构浅析(全量计算+增量计算) 
Spark Streaming还提供另一个操作:window operations(滑动窗) 
Others-大数据平台Lambda架构浅析(全量计算+增量计算) 
通过指定window length(窗的长度)+ sliding interval(滑动间隔),即可将数据流分成相对独立的小块,随着窗口的滑动即可分批处理流入的数据,这正是speed layer处理数据流的精髓所在 
像Oryx2,batch layer和speed layer是开启两个不同的StreamingContext,从kafka消化数据做处理(Spark中,一个JVM进程只能同时存在一个streamingContext)