【文件属性】：
文件名称：spark本地开发模式配置
文件大小：9.76MB
文件格式：RAR
更新时间：2018-12-14 04:50:50
IDEA spark 本机开发模式 配置
在自己的机器上配置spark的本地开发模式，可以用来测试spark代码是否正确，如果没问题，可以提交到spark集群上去运行，免去每次都要打包放到集群上去测试的麻烦。因为在网络上没找到合适的资源可以快速构建，所以就自己鼓捣了下，分享出来让有同样需求的同学参考下。
1.下载和安装jdk和scala，这个不用多说了，我安装的jdk版本是jdk 1.7，scala版本2.10.4
2.下载hadoop的安装包，我下载的是hadoop-2.6版本的，配置HADOOP_HOME 和配置JAVA_HOME类似，不多说了
3.把附件架包中的winutils.exe 添加到hadoop/bin目录下，这个是用来在windows下调用hadoop命令的
4.下载IDEA 配置好jdk和scala，创建scala项目
5.把附件中的架包解压后添加到scala项目的library中，因为受上传权限的限制，就不上传最大的一个spark jar包了，这个jar包只要到官网下载spark项目就能获得，我用的版本是：spark-assembly-1.3.0-cdh5.4.5-hadoop2.6.0-cdh5.4.5.jar
6.附件中还自带了一个测试文件，用来测试spark环境是否搭建好，文件名为：Test.scala
【文件预览】：
spark_local_config
----spark_local_jar()
--------jackson-databind-2.2.3.jar(846KB)
--------hadoop-core-2.6.0-mr1-cdh5.4.5.jar(1.68MB)
--------commons-collections-3.2.1.jar(562KB)
--------hadoop-auth-2.6.0-cdh5.4.5.jar(71KB)
--------slf4j-api-1.7.7.jar(29KB)
--------snappy-java-1.1.1.6.jar(578KB)
--------slf4j-log4j12-1.7.5.jar(9KB)
--------commons-configuration-1.7.jar(342KB)
--------guava-16.0.jar(2.12MB)
--------commons-lang-2.3.jar(240KB)
--------log4j-1.2.17.jar(478KB)
--------jackson-core-2.2.3.jar(188KB)
--------protobuf-java-2.5.0.jar(521KB)
--------jackson-annotations-2.2.3.jar(33KB)
--------hadoop-common-2.6.0-cdh5.4.5.jar(3.19MB)
----winutils.exe(40KB)
----Test.scala(706B)