Spark菜鸟学习营Day6 分布式代码运行调试

时间：2023-03-08 23:03:47
Spark菜鸟学习营Day6 分布式代码运行调试

Spark菜鸟学习营Day6

分布式代码运行调试

作为代码调试，一般会分成两个部分

  1. 语法调试，也就是确定能够运行
  2. 结果调试，也就是确定程序逻辑的正确

其实这个都离不开运行，所以我们说一下如何让开发的Spark程序运行。

Spark的代码有一个特色，就是延时运行机制，就是当我们调用map等方法时，并不会立即触发运行。

而是会等待后续统一触发的处理。

所以我们需要在程序加入这个触发处理的环节。

这里分三步：

  • 步骤1：在程序中使用append方法输出计算结果
        appendResultRDD(extendedQtslRDD, QtslTempPojoExtend.class);
  • 步骤2：在测试程序中获取输出，并且进行打印
            printResult(

                result.seek("QtslTempPojoExtend", QtslTempPojoExtend.class)

                        .get());
  • 步骤3：如果结果正确，请将控制台中打印的运行结果保存为json文件，并添加对应断言，这样我们就形成了一个自动化测试案例！！！
        assertRDDEquals(

                result.seek("QtslTempPojoExtend", QtslTempPojoExtend.class)

                        .get(),

                "OUT_TRD_QTSL_EXTEND_600_1",

                "测试第一个输出");

这样就完整完成了我们一个程序的开发！！！