Idea 编写 Spark 示例代码并打包成Jar

时间:2021-12-01 19:54:24

说明:本人是在Linux下搭建的单机Spark环境,也是在Linux下使用Idea14.02进行代码编辑

1. 打开IDEA,在欢迎界面从右下角的Configure -> Plugins进入,安装Scala插件

Idea 编写 Spark 示例代码并打包成Jar

2.从左下角的Install JetBrains plugin进入,再在搜索输入框中输入 scala,由于我已经装好scala插件了,所以右侧出现的是Uninstall plugin ;若没有装好scala插件,应该会出现 Install plugin按钮,点击安装,装好后会要求重启IDEA.

Idea 编写 Spark 示例代码并打包成Jar

3.配置默认JDK,如下图

Idea 编写 Spark 示例代码并打包成Jar

进入后会看到 No SDK

Idea 编写 Spark 示例代码并打包成Jar

点击New

Idea 编写 Spark 示例代码并打包成Jar

找到你的Java JDK所在目录

Idea 编写 Spark 示例代码并打包成Jar

4.新建项目

Idea 编写 Spark 示例代码并打包成Jar

5.选择Scala 和 SBT。其实我后面并没有对SBT的配置文件进行编辑,之前编辑过sbt的配置文件,但是由于网络原因,部分包一直下载不下来,所以干脆不用sbt了,我只是为了让它自动生成一些目录而已。

Idea 编写 Spark 示例代码并打包成Jar

Idea 编写 Spark 示例代码并打包成Jar

6.在如图所示的scala目录中新建scala object文件

Idea 编写 Spark 示例代码并打包成Jar

Idea 编写 Spark 示例代码并打包成Jar

Idea 编写 Spark 示例代码并打包成Jar

输入相应的测试代码:

Idea 编写 Spark 示例代码并打包成Jar

7.打包相关的配置

Idea 编写 Spark 示例代码并打包成Jar

Idea 编写 Spark 示例代码并打包成Jar

找到spark安装目录下的lib目录,也可以从其它机器上将需要的jar拷贝过来:

Idea 编写 Spark 示例代码并打包成Jar

Idea 编写 Spark 示例代码并打包成Jar

Idea 编写 Spark 示例代码并打包成Jar

击Main Class后面的按钮,选择main函数

Idea 编写 Spark 示例代码并打包成Jar

Idea 编写 Spark 示例代码并打包成Jar

Idea 编写 Spark 示例代码并打包成Jar

下图中右侧蓝色的包可以删掉,只留最后的  'sparktest' compile output那一项即可,否则打好的包会比较大,我之前只写了几行代码,但是把scala和spark相关的包都包含进去了,所以一个包有100多M。

Idea 编写 Spark 示例代码并打包成Jar

8.开始打包

Idea 编写 Spark 示例代码并打包成Jar

Idea 编写 Spark 示例代码并打包成Jar

打包好后,应该就能看到对应的ja包了

Idea 编写 Spark 示例代码并打包成Jar

9.进行测试:

  1. bin/spark-submit --master spark://macor:7077 --class getSum /root/IdeaProjects/SParkTest/out/artifacts/sparktest_jar/sparktest.jar

Idea 编写 Spark 示例代码并打包成Jar

执行正确:

Idea 编写 Spark 示例代码并打包成Jar