我觉得这个macos的路径配置还是很有必要在赘述一下的!!!
网上的很多的spark环境配置在配置路径都是直接去修改ect/profile,其实这样是很危险的,本博主亲测,不小心删了一行,结果导致命令行出现了问题,不得不重装系统。
首先我们先了解一下Mac系统的环境变量,加载顺序为:
/etc/profile /etc/paths ~/.bash_profile ~/.bash_login ~/.profile ~/.bashrc
其中/etc/profile和/etc/paths是系统级别的,系统启动就会加载,后面几个是当前用户级的环境变量。
后面3个按照从前往后的顺序读取,如果~/.bash_profile文件存在,则后面的几个文件就会被忽略不读了,如果~/.bash_profile文件不存在,才会以此类推读取后面的文件。~/.bashrc没有上述规则,它是bash shell打开的时候载入的。值得一提的是这几个文件中,/etc/paths文件里面不用export那种方式添加环境变量,直接它的文件内容里面的每一行的路径就会被添加到环境变量中。
所以修改路径的时候建议在 ~/.bash_profile中进行配置
vim ~/.bash_profile
# >>> spark init >>>
export SPARK_HOME=/Users/shengdeming/Documents/spark/spark-2.4.1-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/bin
# <<< spark init <<<
#是备注
SPARK_HOME后面是spark-2.4.1-bin-hadoop2.7文件夹的路径
然后保存配置
source ~/.bash_profile
然后我们就可以运行spark-shell啦
spark-shell
效果如图