spark transform操作卡死,请先对rdd进行action操作

时间:2023-05-27 17:18:37

  这两天一直在写spark程序,遇到了一个奇怪的问题。

  问题简单描述如下,有两个RDD,设为rdd_a,rdd_b,当将这两个rdd合并的时候,spark会在运行中卡死。

  解决方式也是奇葩。

  只要在合并这两个rdd之前,分别执行rdd_a.count(),rdd_b.count(),程序就又能够愉快的走下去了。

  也就是说如果在转换操作的时候程序运行卡死,请尝试在转换操作之前,先对RDD进行行动操作。

  参考:

  *