说明:本人是在Linux下搭建的单机Spark环境,也是在Linux下使用Idea14.02进行代码编辑
1. 打开IDEA,在欢迎界面从右下角的Configure -> Plugins进入,安装Scala插件
2.从左下角的Install JetBrains plugin进入,再在搜索输入框中输入 scala,由于我已经装好scala插件了,所以右侧出现的是Uninstall plugin ;若没有装好scala插件,应该会出现 Install plugin按钮,点击安装,装好后会要求重启IDEA.
3.配置默认JDK,如下图
进入后会看到 No SDK
点击New
找到你的Java JDK所在目录
4.新建项目
5.选择Scala 和 SBT。其实我后面并没有对SBT的配置文件进行编辑,之前编辑过sbt的配置文件,但是由于网络原因,部分包一直下载不下来,所以干脆不用sbt了,我只是为了让它自动生成一些目录而已。
6.在如图所示的scala目录中新建scala object文件
输入相应的测试代码:
7.打包相关的配置
找到spark安装目录下的lib目录,也可以从其它机器上将需要的jar拷贝过来:
点
击Main Class后面的按钮,选择main函数
下图中右侧蓝色的包可以删掉,只留最后的 'sparktest' compile output那一项即可,否则打好的包会比较大,我之前只写了几行代码,但是把scala和spark相关的包都包含进去了,所以一个包有100多M。
8.开始打包
打包好后,应该就能看到对应的ja包了
9.进行测试:
- bin/spark-submit --master spark://macor:7077 --class getSum /root/IdeaProjects/SParkTest/out/artifacts/sparktest_jar/sparktest.jar
执行正确: