使用Intellij IDEA构建spark开发环境

时间:2022-07-23 18:49:26

近期开始研究学习spark,开发环境有多种,由于习惯使用STS的maven项目,但是按照许多资料的方法尝试以后并没有成功,也可能是我环境问题;也可以是用scala中自带的eclipse,但是不太习惯,听说支持也不太好,好多问题;咨询一些人后说,IDEA对scala的支持比较好。所以尝试使用IDEA来构建Spark开发环境;

1.  安装JDK

2.  安装IDEA最新版,目前是IDEA 14,社区免费版就可以;

3.  安装scala插件,运行IDEA,初次运行,可以直接再弹出的tab框中选择“Configure” -> "plugins",如果已经使用过在工程页面,“File” -> "Settings" -> "Plugins" 或者Ctrl + Alt + S, 输入“scala”, 安装插件即可

使用Intellij IDEA构建spark开发环境

4.  搭建Spark开发环境

4.1 下载spark的jar包, 在下载页面选择相应的spark版本, 包类型这里选择spark1.2.0, 和Pre-build for Hadoop 2.4进行下载spark-1.2.0-bin-hadoop2.4.tgz,解压, lib下的spark-assembly-1.2.0-hadoop2.4.0.jar是所需要的;

4.2 新建scala项目, “File” -> "New Project", 选择scala,scala,next起名字,finish

使用Intellij IDEA构建spark开发环境

4.3 导入spark包

在项目页“File” -> "project structure" -> "Libraries", 点“+”,选“java”,找到spark-assembly-1.2.0-hadoop2.4.0.jar导入,这样就可以编写spark的scala程序了(例子有空补)

4.4 程序导出

如果在spark上运行程序,需要将程序导出为jar包,并将jar包上传至spark集群运行。导出jar包分为两步:

1)在项目页“File” -> "project structure" ->"Artifacts", 点“+”,选“JAR”->"from modules with dependencies ..",在弹出的Create Jar from Modules中选择Module和MainClass,点“OK”,然后分别选择到导出的Jar包名, 导出路径,导出文件,点“OK”;

2) 在项目页“Build”->"Build Artifacts",选择相应的jar包,build即可在目录下生成相应jar包;