Spark系列(六)Master注册机制和状态改变机制

时间:2023-03-09 06:57:44
Spark系列(六)Master注册机制和状态改变机制

各组件的注册流程如下图:

Spark系列(六)Master注册机制和状态改变机制注册机制源码说明:

入口:org.apache.spark.deploy.master文件下的receiveWithLogging方法中的case RegisterApplication(注册Application)、case RegisterWorker(注册Worker)、case RequestSubmitDriver(注册Driver).

 

状态改变机制源码分析:

入口:org.apache.spark.deploy.master文件下的receiveWithLogging方法中的DriverStateChanged(Driver状态改变处理)、ExecutorStateChanged(Executor状态改变处理)。

状态改变处理流程图

Spark系列(六)Master注册机制和状态改变机制