Mac下安装Spark开发环境(Linux系统可参照)

时间:2022-07-20 23:11:20

Mac下安装Spark开发环境(Linux系统可参照) 

标签: sparklinuxmacspark安装 1821人阅读 评论(0) 收藏 举报 Mac下安装Spark开发环境(Linux系统可参照) 分类:

目录(?)[+]

之前一直使用VNC在远程集群上进行Spark程序开发,但是网络的不稳定以及集群时常升级让人头疼。在这里我在自己的Mac上

搭建单机Spark开发环境,作为学习开发已经足够。Linux系统用户也可以参考。

一、本机环境

Macbook pro retina with 8G memory

二、准备工作

JDK 1.6.05

Scala 11.4

Spark下载界面下载Spark 1.2.0。我在Mac上并没有使用hdfs(可根据个人需求选择性安装),选择Hadoop1.X版本,最后点

击第4项的spark-1.2.0-bin-hadoop1.tgz直接下载即可。

Mac下安装Spark开发环境(Linux系统可参照)

三、配置环境

首先解压Spark压缩包:

tar -zxvf spark-1.2.0-bin-hadoop1.tgz

Mac下安装Spark开发环境(Linux系统可参照)

然后进行系统变量配置:

sudo vim /etc/profile

Mac下安装Spark开发环境(Linux系统可参照)

配置环境变量如下:

Mac下安装Spark开发环境(Linux系统可参照)

配置好之后进入解压后的Spark目录下的conf目录,执行如下命令

cp spark-env.sh.template spark-env.sh

Mac下安装Spark开发环境(Linux系统可参照)

修改spark-env.sh中的内容,加入如下配置:

export SCALA_HOME=/usr/local/scala

export SPARK_MASTER_IP=localhost

export SPARK_WORKER_MEMORY=4g

Mac下安装Spark开发环境(Linux系统可参照)

进行本机SSH配置,在主目录下输入如下命令:

ssh-keygen –t rsa –P ''

然后一直按回车直到结束,接着输入命令:

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

最后需要做的一件事是在System Preferences->Sharing中选中Remote Login选项(对于Linux系统可以忽略此步骤直接看第四步)

Mac下安装Spark开发环境(Linux系统可参照)

此时可以使用ssh locahost命令测试SSH免密码通讯是否配置成功。

四、运行Spark

1.启动Spark

首先进入Spark目录中的sbin子目录运行如下脚本启动Spark:

./start-all.sh

Mac下安装Spark开发环境(Linux系统可参照)

输入 jps 命令查看Spark是否运行:

Mac下安装Spark开发环境(Linux系统可参照)

可以看到Master 和 Worker进城都已经启动

2.使用spark shell 进行测试

进去Spark目录下的bin子目录运行如下脚本启动Spark shell:

spark-shell

当看到如下界面的时候你已经成功了:

Mac下安装Spark开发环境(Linux系统可参照)

恭喜你,继续享受Spark吧。