Spark入门篇------Spark的路径配置(macOS)

时间:2024-04-05 10:45:41

我觉得这个macos的路径配置还是很有必要在赘述一下的!!!

网上的很多的spark环境配置在配置路径都是直接去修改ect/profile,其实这样是很危险的,本博主亲测,不小心删了一行,结果导致命令行出现了问题,不得不重装系统。

首先我们先了解一下Mac系统的环境变量,加载顺序为:

/etc/profile    /etc/paths    ~/.bash_profile    ~/.bash_login    ~/.profile    ~/.bashrc

其中/etc/profile和/etc/paths是系统级别的,系统启动就会加载,后面几个是当前用户级的环境变量。

后面3个按照从前往后的顺序读取,如果~/.bash_profile文件存在,则后面的几个文件就会被忽略不读了,如果~/.bash_profile文件不存在,才会以此类推读取后面的文件。~/.bashrc没有上述规则,它是bash shell打开的时候载入的。值得一提的是这几个文件中,/etc/paths文件里面不用export那种方式添加环境变量,直接它的文件内容里面的每一行的路径就会被添加到环境变量中。

所以修改路径的时候建议在 ~/.bash_profile中进行配置

vim ~/.bash_profile
# >>> spark init >>>
export SPARK_HOME=/Users/shengdeming/Documents/spark/spark-2.4.1-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/bin
# <<< spark init <<<

#是备注

SPARK_HOME后面是spark-2.4.1-bin-hadoop2.7文件夹的路径

然后保存配置

source ~/.bash_profile

然后我们就可以运行spark-shell啦 

spark-shell

效果如图

Spark入门篇------Spark的路径配置(macOS)