刚开始接触Spark走了很多弯路，查阅了很多资料，故此抽时间整理了成博客，主要介绍了Spark在Windows环境下的搭建过程，期间穿插了一些博主探索过程中的一些经验。对比了eclipse和idea这两大霸主，深以为idea较之eclipse有着很大的优势，主要表现在以下方面（仅代表跟人观点）：
- 依赖包方面：idea对依赖包的设置较为简便，相对来讲eclipse繁琐一些
- 代码检测上：idea可以很方便的识别代码中的无效部分，方便缩减代码，而eclipse无此功能
- 调试功能上：idea的调试界面相比于eclipse更加清晰，也更加方便
因此，本文将使用IntelliJ IDEA作为编辑器进行介绍。
1、安装准备
在Windows下使用IntelliJ IDEA搭建Spark环境需要首先在windows上搭建Spark环境，具体见另一篇教程——Windows下搭建Spark。
| 软件 | 下载 | 官网 |
|---|---|---|
| ideaIC-2017.2.5.exe | 点击下载 | 点击进入 |
| jdk-8u151-windows-x64.exe | 点击下载 | 点击进入 |
| scala-2.11.11.msi | 点击下载 | 点击进入 |
注：一般来讲Community版本（无需注册，正常够用）已经够用，本文提供了Community版本的下载链接，需要Ultimate版本的请从官网自行下载（点击获取***）。
Tips:
- 1、如果以后是在本地编写好spark代码然后上传到spark集群上去运行，一定保持两者的开发环境一致，不然会出现很多错误。
- 2、高版本JDK兼一般容低版本，只需要在软件中设置低版本兼容即可。
- 3、IntelliJ IDEA 2016及以上版本需要JDK1.8或以上版本支持，JDK1.7及以下版本会出现
cannot start under Java 1.7 : Java 1.8 or later is required错误，点击查看解决方法。
2、IntelliJ IDEA安装配置
2.1 主题选择
IntelliJ IDEA安装完成后，第一次打开会出现UI主题选择界面，如果工作时间较长，建议使用黑色主题，眼睛不容易劳累。
2.2 Scala插件安装
后续的几个页面按照默认的配置即可，一直Next来到下面的界面。因为我们主要用Scala来写Spark程序，而IntelliJ IDEA需要使用Scala插件来支持Scala，安装方法如下图所示，首先点击Configure，然后点击下拉菜单中的Plugins。
随后打开的页面会显示出IntelliJ IDEA当前已安装的插件列表，现在我们要安装Scala插件，所以点击页面左下方的Install JetBrains plugin...按钮，然后来到安装插件的页面，如果网络正常的话，在页面左上方的搜索框内搜索scala，即可出现Scala插件的安装界面，点击右侧页面中的Install进行安装后，可以看到安装的进度条，如下图所示：
Tips：
- 如果下载速度慢，可以使用离线方式进行安装（注意版本），点击下载。
- 插件安装完了之后，需要重启一下IntelliJ IDEA使得插件能够生效。
- 确保已安装Scala。
2.3 全局JDK和Library的设置
因为Scala代码的编写需要依赖JDK，并且以后编写Spark的程序，肯定会用到各种外部Jar包，如果自己手动去下载这些Jar包然后再引入项目，不仅费时费力，而且尤其在多人协作开发一个项目的时候，各种Jar包版本的管理将会变得非常混乱，因此，在这里建议：从一开始就习惯来用Maven对项目依赖到的Jar包进行理，然而在创建Maven工程的时候，首先便需要指定JDK。
因此为了后续创建Spark项目（正如上面所说，一方面是Scala本身需要依赖JDK，另一方面用来管理项目构建的Maven，其创建也需要依赖JDK）的时候不用每次都去配置JDK，这里先进行一次全局配置。首先在欢迎界面点击Configure，然后在Project Defaults的下拉菜单中选择Project Structure，如下图所示：
然后在打开的Default Project Structure界面的左侧边栏选择Project，在右侧打开的页面中创建一个新的JDK选项（一定要本机已经安装过JDK了），如下图所示步骤在下拉菜单中点击JDK后，在打开的对话框中选择你所安装JDK的位置，注意是JDK安装的根目录，不是bin文件夹的目录，而是JAVA_HOME中设置的目录。
选择Global Libraries，然后在中间一栏中有一个绿色的加号标志 +，点击后在下拉菜单中选择 Scala SDK（如果没有的话，检查是否Scala的插件没安装成功，本机还未安装Scala，亦或者Scala的bin文件夹路径未能添加到系统的 PATH 环境变量中去等等），然后在打开的对话框中选择系统本身所安装的Scala（即System对应的版本），点击OK确定，这时候会在中间一栏位置处出现Scala的SDK，在其上右键点击后选择Copy to Project Libraries...，这个操作是为了将Scala SDK添加到项目的默认Library中去。
Tips：
- 如果前面均没有问题，仍旧无法设置此选项（表现为点击
Scala SDK无反应），则可能是idea本身的bug导致的，尝试随意新建一个新scala相关项目，从进入后的界面进行设置。
到这里，在Intellij IDEA中安装scala插件的步骤已经全部完成，接下来可以使用IDEA来构建一个Maven工程。
Intellij IDEA有着丰富的快捷键，详见Intellij IDEA 快捷键大全。
下面附上一些本人常用的快捷键：
| 快捷键 | 功能 | 来源 |
|---|---|---|
| Ctrl + D | 删除行 | 自定义快捷键 |
| Ctrl + Alt + L | 快速调整代码格式 | 原生 |
| Alt + Enter | 导入包，自动修正 | 原生 |
| Ctrl + / 或 Ctrl + Shift + / | 注释（//或者/**/） | 原生 |
| Shift + Enter | 向下插入新行 | 原生 |
| Ctrl + Enter | 上插一行 | 原生 |
参考链接：
http://blog.csdn.net/u011513853/article/details/52896230
http://blog.csdn.net/u013963380/article/details/71713582