【文件属性】:
文件名称:作业相关的名词解释-spark基础知识讲解
文件大小:1.83MB
文件格式:PPT
更新时间:2021-04-26 10:16:10
spark 原理
2.作业相关的名词解释
Job:一个action操作触发作业
Stage:一个Spark作业一般包含一到多个Stage。
Task:一个Stage包含一到多个Task,通过多个Task实现并行运行的功能。
DAGScheduler: 实现将Spark作业分解成一到多个Stage,每个Stage根据RDD的Partition个数决定Task的个数,然后生成相应的Task set放到TaskScheduler中。
TaskScheduler:实现Task分配到Executor上执行。