【亲测】windows 10 下安装spark

时间:2022-04-29 17:29:09

原文:
http://mp.weixin.qq.com/s/CIq8hCfnDWtIYPzO8XygBw

一.【前言】

  最近想要学习spark,所以打算在windows 10笔记本上搭建单机版spark环境,练习spark的基本使用。在此过程中遇到了许多头疼的问题,经过多方查询资料,总算搭建好了,具体流程梳理如下,希望能给你一些启示或是帮助。

二.【工具准备】

【亲测】windows 10 下安装spark

具体如下
1. java: JDK 8u121 with NetBeans 8.2,你也可以下载单独的JDK 8u121,不带有IDE NetBeans 8.2
http://www.oracle.com/technetwork/java/javase/downloads/jdk-netbeans-jsp-142931.html

【亲测】windows 10 下安装spark

2.spark: spark-2.1.0-bin-hadoop2.6
https://spark.apache.org/downloads.html

【亲测】windows 10 下安装spark

3.winutils.exe: 用于改变文件或文件夹读写权限的工具,本文下载的是针对hadoop-2.6.4的64位的winutils.exe
https://github.com/steveloughran/winutils/tree/master/hadoop-2.6.4/bin

【亲测】windows 10 下安装spark

4.hadoop-2.6.4和scala-2.11.8可到官网自行下载,或是从下文中分享文件中获得

三.【安装及系统环境变量设置】

   java,scala为双击安装即可,spark, hadoop解压到你想保存的目录,注意路径中不要有空格或是windows下容易出错的字符, winutils.exe拷贝到hadoop解压后的bin目录下。环境变量的设置具体如下(根据个人安装目录而定)

  如果你在解压缩hadoop过程中出现错误”客户端没有所需的特权“,解决办法参考 http://jingyan.baidu.com/article/6079ad0e92cc8d28ff86dbc0.html?st=2&net_type=&bd_page_type=1&os=0&rst=&word=win7%E6%80%8E%E6%A0%B7%E8%A7%A3%E5%8E%8B%E6%96%87%E4%BB%B6

【亲测】windows 10 下安装spark

环境变量设置截图
【亲测】windows 10 下安装spark

【亲测】windows 10 下安装spark

【亲测】windows 10 下安装spark

【亲测】windows 10 下安装spark

【亲测】windows 10 下安装spark

注意: 编辑系统变量PATH的值,将java,spark,hadoop的相关bin路径添加进去,注意是添加,不要删除原有的其他应用的路径值!!!每个路径之间用英文半角的引号(;)分开

我的是:
C:\Program Files\Java\jdk1.8.0_121\bin;C:\ProgramFiles\Java\jre1.8.0_121\bin;D:\Application\hadoop\hadoop2.6.4\bin;D:\Application\spark\spark-2.1.0-bin-hadoop2.6\bin;

四.【使用winutils.exe修改权限】

winutils.exe chmod 777 c:\tmp\hive

【亲测】windows 10 下安装spark

关闭命令行窗口,重新新的命令行窗口

【亲测】windows 10 下安装spark

五.【注意事项总结】

1. 版本适应问题,如spark2.1.0需要的scala版本为2.11版本,spark版本和hadoop版本要相适应
2. 尽量不要使文件路径中出现空格或是windows下难以处理的字符
3. 本文中的文件路径要根据个人具体情况而定
4. winutils.exe要根据个人情况选择32位或是64位
5. 更详细的内容可参考 https://hernandezpaul.wordpress.com/2016/01/24/apache-spark-installation-on-windows-10/ 以及 其他相关文章

六.【温馨提示】

1.为方便大伙操作方便,此文中用到的文件已经打包并分享到了百度云,链接:http://pan.baidu.com/s/1dEYHfyT 密码:rmer

2.如果您想关注我的个人最新动态,请关注我的微信公众号沈万三爱搬砖

七.【参考】

https://hernandezpaul.wordpress.com/2016/01/24/apache-spark-installation-on-windows-10/