Spark2.x学习笔记:第6章 在Windows平台下搭建Spark开发环境(Intellij IDEA)

时间:2022-07-08 09:38:15

第6章 在Windows平台下搭建Spark开发环境(Intellij IDEA)


6.1 集成开发环境IDE

为了方便应用程序开发与测试,提高开发效率,一般使用集成开发工具IDE。同样,为了方便Spark应用程序编写和测试,可以选择集成开发工具Intellij IDEA或Eclipse。由于Intellij IDEA对Scala更好的支持,大多Spark开发团队选择了Intellij IDEA作为开发环境。

6.2 安装JDK

在Linux下安装配置JDK8,请参见http://blog.csdn.net/chengyuqiang/article/details/77671748
在实际生产环境下,首先是在Windows平台进行应用程序编写和调试,然后,程序编译后发布到服务器端运行。所以,这里需要介绍的是Windows平台下JDK8的安装与配置。
(1)下载
登录Oracle官网http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html,接受协议,选择对应版本。因为我的本机是64位Windows,所以需要下载64位(Windows x64)JDK安装包。
Spark2.x学习笔记:第6章 在Windows平台下搭建Spark开发环境(Intellij IDEA)
(2)安装JDK
Windows下安装JDK非常方便,双击安装程序后,直接单击下一步即可,默认安装到C:\Program Files\Java目录下。其间会安装JRE,默认一下步即可。
(3)设置环境变量
右键单击桌面上的“计算机”图标(在Windows10下是“此电脑”),在弹出的右键快捷菜单中选择最后一个“属性”选项;在弹出的系统窗口中,单击左侧“高级系统设置”选项,弹出“系统属性”对话框,如下图。
Spark2.x学习笔记:第6章 在Windows平台下搭建Spark开发环境(Intellij IDEA)
然后单击中间的“高级”选项卡,再单击下方的“环境变量(N)…”按钮。在弹出的环境变量对话框中,首先单击下方的“新建(W)…”按钮,然后在弹出的新建环境变量中输入对应的值。
Spark2.x学习笔记:第6章 在Windows平台下搭建Spark开发环境(Intellij IDEA)

6.3 安装Scala

(1)下载
通过Spark官网下载页面http://spark.apache.org/downloads.html 可知“Note: Starting version 2.0, Spark is built with Scala 2.11 by default.”,建议下载Spark2.2对应的 Scala 2.11。

登录Scala官网http://www.scala-lang.org/,单击download按钮,然后再“Other Releases”标题下找到“Last 2.11.x maintenance release - Scala 2.11.11”链接

进入http://www.scala-lang.org/download/2.11.11.html页面,下拉找到如下图内容,下载msi格式的安装包即可。
Spark2.x学习笔记:第6章 在Windows平台下搭建Spark开发环境(Intellij IDEA)
(2)安装
默认安装到C:\Program Files (x86)\scala目录下
Spark2.x学习笔记:第6章 在Windows平台下搭建Spark开发环境(Intellij IDEA)
(3)环境变量
与设置Java环境变量类型,
SCALA_HOME=C:\Program Files (x86)\scala
Path环境变量在最后追加;%SCALA_HOME%\bin
Spark2.x学习笔记:第6章 在Windows平台下搭建Spark开发环境(Intellij IDEA)

6.4 安装Maven

Maven的安装与配置请参考:
http://blog.csdn.net/chengyuqiang/article/details/72082149

6.5 Intellij IDEA下载与配置

(1)下载与安装
登录官网https://www.jetbrains.com/idea/download/,按照自己的需求下载(ultimate,旗舰版)或者(Community,社区版)。比如这里直接下载ultimate

Spark2.x学习笔记:第6章 在Windows平台下搭建Spark开发环境(Intellij IDEA)
下载得到ideaIU-2017.2.3.exe可执行文件,双击即可安装。
(2)启动
安装完成后,单击周末IntelliJ IDEA图标即可启动IntelliJ IDEA.
(3)导入设置
由于是第一次安装,所以不需要导入配置。默认选项即可。
Spark2.x学习笔记:第6章 在Windows平台下搭建Spark开发环境(Intellij IDEA)
(4)接受协议
Spark2.x学习笔记:第6章 在Windows平台下搭建Spark开发环境(Intellij IDEA)
(5)激活IntelliJ IDEA 2017.2.3(重要)
对于旗舰版的IntelliJ IDEA需要激活。如下图所示,首先选中“License server”,然后再输入框中输入http://idea.imsxm.com(注意,输入是这个地址,不是图中地址),最后单击“Activate”按钮激活即可。
Spark2.x学习笔记:第6章 在Windows平台下搭建Spark开发环境(Intellij IDEA)
(6)选中风格
为了保护眼睛,我倾向于选中Darcula风格。
Spark2.x学习笔记:第6章 在Windows平台下搭建Spark开发环境(Intellij IDEA)
(7)单击“Skip All and Set defaults”按钮

6.6 设置

(1)单击“Create New Project”
Spark2.x学习笔记:第6章 在Windows平台下搭建Spark开发环境(Intellij IDEA)

Spark2.x学习笔记:第6章 在Windows平台下搭建Spark开发环境(Intellij IDEA)

6.7 创建Maven项目

Spark2.x学习笔记:第6章 在Windows平台下搭建Spark开发环境(Intellij IDEA)

Spark2.x学习笔记:第6章 在Windows平台下搭建Spark开发环境(Intellij IDEA)

Spark2.x学习笔记:第6章 在Windows平台下搭建Spark开发环境(Intellij IDEA)