spark的环境安装

时间:2022-01-23 14:29:07

1.安装sbt

正常安装流程。

在cmd里运行的时候,要提前设置代理(如果上网有代理),set JAVA_OPTS=-Dhttp.proxySet=true -Dhttp.proxyHost=172.17.18.84 -Dhttp.proxyPort=8080。这样sbt就可以联网下载了,否则后续的安装会不成功。

2.安装scala

正常安装流程。

3.安装git

正常安装。如果上网有代理,需要在bash里面进行设置,git config --global http.proxy 172.17.18.84 :8080

4.安装spark

下载spark的tgz文件,解压缩后,cmd进入到根目录。

输入sbt package,进行打包。这其中会调用git,如果没安装会报错。

如果spark安装成功,进入到spark/bin目录下,运行spark-shell,看到欢迎界面。