Spark Streaming源码解读之JobScheduler内幕实现和深度思考

时间:2023-01-25 15:16:03

本期内容 :

  • JobScheduler内幕实现
  • JobScheduler深度思考

  JobScheduler 是整个Spark Streaming调度的核心,需要设置多线程,一条用于接收数据不断的循环,另外一条是处理线程,同时需要把调度与执行分离开。

一、 作业流程源码 :

  首先只要定义了BatchDuration后就规定了按照什么样的频率生成具体的Job ,也就是Job生成的频率:

   Spark Streaming源码解读之JobScheduler内幕实现和深度思考

  按照一定的频率操作ForeachRDD :

  我们设置每隔5秒钟都会生成一个Spark 的Job ,Job其实其内部是存在依赖关系的,当遇到时间维度的时候就变成物理级别的。

   Spark Streaming源码解读之JobScheduler内幕实现和深度思考

   Spark Streaming源码解读之JobScheduler内幕实现和深度思考

  指定的两条线程,说明具体在集群中需要的线程数据,一条用于接收数据不断的循环,另外一条是处理线程。

   Spark Streaming源码解读之JobScheduler内幕实现和深度思考

  启动的新线程,是调度层面的,而应用程序是自己配置,需要把调度与执行分离开,每个线程都有自己的属性:

   Spark Streaming源码解读之JobScheduler内幕实现和深度思考

  Spark Streaming源码中默认的是一个线程数 :

   Spark Streaming源码解读之JobScheduler内幕实现和深度思考

  进行实例化过程

   Spark Streaming源码解读之JobScheduler内幕实现和深度思考

  Job调度本身与需要实现的业务逻辑

   Spark Streaming源码解读之JobScheduler内幕实现和深度思考

   Spark Streaming源码解读之JobScheduler内幕实现和深度思考

二、 调度流程源码 :

  JobGenerator有三大核心 :

  1. JobGenerator本身

  2. JobGenerator任意生成Job

  3. ReceiverTracker整个数据的控制与生成者

   Spark Streaming源码解读之JobScheduler内幕实现和深度思考

  时间维度加Action级别,就是根据generateJob来生成作业

   Spark Streaming源码解读之JobScheduler内幕实现和深度思考

  业务代码逻辑级别与空间级别、静态,真正运行起来变成物理级别就需要JobGeneratorEvent

   Spark Streaming源码解读之JobScheduler内幕实现和深度思考

   Spark Streaming源码解读之JobScheduler内幕实现和深度思考

   Spark Streaming源码解读之JobScheduler内幕实现和深度思考

  从时间维度去调用空间维度的内容,就生成了现实的内容(物理级别的)

   Spark Streaming源码解读之JobScheduler内幕实现和深度思考

  将每个Job放入线程池中,为了配合线程池使用了JobHandler

   Spark Streaming源码解读之JobScheduler内幕实现和深度思考

   Spark Streaming源码解读之JobScheduler内幕实现和深度思考

  开始处理业务逻辑部分

    Spark Streaming源码解读之JobScheduler内幕实现和深度思考