Windows下Eclipse+Scala+Spark开发环境搭建

时间:2023-03-09 07:54:23
Windows下Eclipse+Scala+Spark开发环境搭建

1、安装JDK及配置java环境变量

本文使用版本为jdk1.7.0_79,过程略

2、安装scala

本文使用版本为2.11.8,过程略

3、安装spark

本文使用版本为spark-2.0.1-bin-hadoop2.7,解压后路径:D:\spark-2.0.1-bin-hadoop2.7,注意:Spark的文件目录路径名,不能出现空格,类似于“Program Files”这样的文件夹名是不被允许的。

配置环境变量:

SPARK_HOME=D:\spark-2.0.1-bin-hadoop2.7

Path=%SPARK_HOME%/bin

4、安装Hadoop

本文使用版本为hadoop-2.7.1,解压后路径:D:\Program Files\hadoop-2.7.1

配置环境变量

HADOOP_HOME=D:\Program Files\hadoop-2.7.1

Path=%HADOOP_HOME%/bin

从https://github.com/steveloughran/winutils下载winutils.exe文件,并将其复制到Hadoop的bin目录下

5、安装scala插件

下载地址http://scala-ide.org/download/prev-stable.html

6、安装Maven-Scala插件

通过http://alchim31.free.fr/m2e-scala/update-site/下载安装(可能网络问题导致经常安装不成功),如果eclipse已经有Maven插件了,可只选择第三项

Windows下Eclipse+Scala+Spark开发环境搭建

添加远程的原型或模板目录:http://repo1.maven.org/maven2/archetype-catalog.xml

Windows下Eclipse+Scala+Spark开发环境搭建

新建Archetype

Windows下Eclipse+Scala+Spark开发环境搭建

参考:http://docs.scala-lang.org/tutorials/scala-with-maven.html

7、创建Maven-Scala工程

创建maven工程,选择scala插件;add scala nature。

Windows下Eclipse+Scala+Spark开发环境搭建