【Spark】worker、executor、stage、task、partition关系

一个物理节点可以有一个或多个worker。

一个worker中可以有一个或多个executor，一个executor拥有多个cpu core和memory。

只有shuffle操作时才算作一个stage。

一个partition对应一个task。

如下示例，总共有4个stage（包括最后一个count），分区数10个，从而task也为10。假如总共的core数为2，那个这10个task会以每次2个的并行度执行。

    var a = new Array[(Int,Int)](10000)
    for (i <- 0 until 10000){
        a(i) = (i,i)
    }

    val rdd1 = (a).coalesce(10,true)
    val rdd2= (x=>x)
    val rdd3 = (x=>x)
    val rdd4 = ((x,y)=>x+y)

    val rdd5 = (x=>x)
    val rdd6=((x,y)=>x+y)

    val rdd7 = (x=>x)
    val rdd8=((x,y)=>x+y)

    ()