原文:
http://mp.weixin.qq.com/s/CIq8hCfnDWtIYPzO8XygBw
一.【前言】
最近想要学习spark,所以打算在windows 10笔记本上搭建单机版spark环境,练习spark的基本使用。在此过程中遇到了许多头疼的问题,经过多方查询资料,总算搭建好了,具体流程梳理如下,希望能给你一些启示或是帮助。
二.【工具准备】
具体如下:
1. java: JDK 8u121 with NetBeans 8.2,你也可以下载单独的JDK 8u121,不带有IDE NetBeans 8.2
http://www.oracle.com/technetwork/java/javase/downloads/jdk-netbeans-jsp-142931.html
2.spark: spark-2.1.0-bin-hadoop2.6
https://spark.apache.org/downloads.html
3.winutils.exe: 用于改变文件或文件夹读写权限的工具,本文下载的是针对hadoop-2.6.4的64位的winutils.exe
https://github.com/steveloughran/winutils/tree/master/hadoop-2.6.4/bin
4.hadoop-2.6.4和scala-2.11.8可到官网自行下载,或是从下文中分享文件中获得
三.【安装及系统环境变量设置】
java,scala为双击安装即可,spark, hadoop解压到你想保存的目录,注意路径中不要有空格或是windows下容易出错的字符, winutils.exe拷贝到hadoop解压后的bin目录下。环境变量的设置具体如下(根据个人安装目录而定)
如果你在解压缩hadoop过程中出现错误”客户端没有所需的特权“,解决办法参考 http://jingyan.baidu.com/article/6079ad0e92cc8d28ff86dbc0.html?st=2&net_type=&bd_page_type=1&os=0&rst=&word=win7%E6%80%8E%E6%A0%B7%E8%A7%A3%E5%8E%8B%E6%96%87%E4%BB%B6
环境变量设置截图
注意: 编辑系统变量PATH的值,将java,spark,hadoop的相关bin路径添加进去,注意是添加,不要删除原有的其他应用的路径值!!!每个路径之间用英文半角的引号(;)分开
我的是:
C:\Program Files\Java\jdk1.8.0_121\bin;C:\ProgramFiles\Java\jre1.8.0_121\bin;D:\Application\hadoop\hadoop2.6.4\bin;D:\Application\spark\spark-2.1.0-bin-hadoop2.6\bin;
四.【使用winutils.exe修改权限】
winutils.exe chmod 777 c:\tmp\hive
关闭命令行窗口,重新新的命令行窗口
五.【注意事项总结】
1. 版本适应问题,如spark2.1.0需要的scala版本为2.11版本,spark版本和hadoop版本要相适应
2. 尽量不要使文件路径中出现空格或是windows下难以处理的字符
3. 本文中的文件路径要根据个人具体情况而定
4. winutils.exe要根据个人情况选择32位或是64位
5. 更详细的内容可参考 https://hernandezpaul.wordpress.com/2016/01/24/apache-spark-installation-on-windows-10/ 以及 其他相关文章
六.【温馨提示】
1.为方便大伙操作方便,此文中用到的文件已经打包并分享到了百度云,链接:http://pan.baidu.com/s/1dEYHfyT 密码:rmer
2.如果您想关注我的个人最新动态,请关注我的微信公众号:沈万三爱搬砖
七.【参考】
https://hernandezpaul.wordpress.com/2016/01/24/apache-spark-installation-on-windows-10/