windows下大数据开发环境搭建(4)——Spark环境搭建

时间:2023-03-09 03:27:07
windows下大数据开发环境搭建(4)——Spark环境搭建

一、所需环境

· Java 8

· Python 2.6+

· Scala

· Hadoop 2.7+

二、Spark下载与解压

http://spark.apache.org/downloads.html

按照以下截图提示,点击下载Spark的tgz压缩包。

windows下大数据开发环境搭建(4)——Spark环境搭建

windows下大数据开发环境搭建(4)——Spark环境搭建

下载完成后将Spark用7zip工具解压,放到一个不带空格的根目录下,我将起放在C盘的spark文件夹下:C:\spark\spark-2.4.4-bin-hadoop2.7

三、环境变量配置

SCALA_HOME: C:\spark\spark-2.4.-bin-hadoop2.

Path: C:\spark\spark-2.4.-bin-hadoop2.\bin

四、winutils.exe文件补充

需要从https://github.com/steveloughran/winutilshttps://gitee.com/likespace/winutils 此处下载与你的hadoop版本对应或版本更高的winutils.exe文件,并保存到Hadoop的bin目录下。

windows下大数据开发环境搭建(4)——Spark环境搭建

如果没有winutils.exe文件,执行spark-shell将会出现如下错误:ERROR Shell: Failed to locate the winutils binary in the hadoop binary path

windows下大数据开发环境搭建(4)——Spark环境搭建

五、命令行检验

1.启动scala shell模式

spark-shell

windows下大数据开发环境搭建(4)——Spark环境搭建

2.启动python shell模式

pyspark

windows下大数据开发环境搭建(4)——Spark环境搭建

3.查看Spark context Web UI

http://127.0.0.1:4040

windows下大数据开发环境搭建(4)——Spark环境搭建

4..退出shell

ctrl + D

windows下大数据开发环境搭建(4)——Spark环境搭建

至此,我们已经成功在windows环境下搭建起Spark开发环境,可以使用Spark愉快地继续自己的大数据之旅了!