【原创】大叔问题定位分享（7）Spark任务中Job进度卡住不动
Spark2.1.1最近运行spark任务时会发现任务经常运行很久，具体job如下：Job Id ▾DescriptionSubmittedDurationStages: Succeeded/TotalTasks (for all stages): Succeeded/Total16(kill)t...
从物理执行的角度透视spark Job
本博文主要内容： 1、再次思考pipeline2、窄依赖物理执行内幕3、宽依赖物理执行内幕4、Job提交流程一：再次思考pipeline即使采用pipeline的方式，函数f对依赖的RDD中的数据的操作也会有2种方式：1：f(record), f作用于集合的每一条记录，每次只作用于一条记录。2、f(...