Windows32或64位下载安装配置Spark

时间:2022-11-30 18:43:47

【学习笔记】

Windows 32或64位下载安装配置Spark:
1)下载地址:http://spark.apache.org/downloads.html

马克-to-win @ 马克java社区:选择需要下载的Spark版本,我选的是当前最新的版本2.2.0。因为我已经安装了Hadoop 2.7.4版本的,所以我选择对应的Pre-built for Hadoop 2.7 and later。注意网站上说scala要求2.11版本以上。(在我的新机器上,是没有预先装scala的,先装的spark, 证明这么装的顺序是可行的)

Windows32或64位下载安装配置SparkWindows32或64位下载安装配置Spark


2)配置:

马克-to-win @ 马克java社区:解压spark-2.2.0-bin-hadoop2.7.tgz到本机一个目录,例如C:\Users\dell\Downloads\spark-2.2.0-bin-hadoop2.7\spark-2.2.0-bin-hadoop2.7,参考hadoop那节,配置环境变量%SPARK_HOME%,再有把%SPARK_HOME%/bin加入到Path里面, 我自己建了一个目录叫myrun,因为在哪个目录运行,就会在其中产生metastore_db这个目录,所以为了运行,我专门建了一个目录来运行。

Windows32或64位下载安装配置SparkWindows32或64位下载安装配置Spark


3)启动测试:

a)启动Hadoop

b)在cmd窗口运行spark-shell,出现下图代表OK。

Windows32或64位下载安装配置SparkWindows32或64位下载安装配置Spark
Windows32或64位下载安装配置SparkWindows32或64位下载安装配置Spark

c)因为我的hadoop 的根目录下有一个README.txt文件,
Windows32或64位下载安装配置SparkWindows32或64位下载安装配置Spark

所以测试一下word count,在命令行输入sc.textFile("hdfs://localhost:9000/README.txt").count()查看执行结果,出现如下图代表计算word count成功。
Windows32或64位下载安装配置SparkWindows32或64位下载安装配置Spark



4)访问http://192.168.1.104:4040/jobs/

Windows32或64位下载安装配置SparkWindows32或64位下载安装配置Spark



文章转载自原文:https://blog.csdn.net/mark_to_win/article/details/90381929