开发环境配置
目前开发环境为
scala-2.10.4
sbt-0.13.8
一般我习惯直接把这些解压到C盘
JAVA_HOME
C:\Java\jdk1.8.0_45
SBT_HOME
C:\sbt-0.13.8
SCALA_HOME
C:\scala-2.10.4
配置到环境变量path中
;%SCALA_HOME%\bin;%SBT_HOME%\bin
;%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin
配置完成后,在cmd中判断
代码编写,编译打包
新建SBT工程
配置工程信息,选择好指定SBT版本,scala版本
勾选use auto-import(自动导入)
根据需要修改build.sbt中的内容,例如
也可以等待下面的包导入结束
在scala目录创建一个包,名字根据实际要求来
再在这个包上创建一个scala类
写个wordcount测试
使用sbt编译打包,首先点击sbt console,然后点击绿色箭头启动
启动sbt
执行package开始打包(打包的同时也会编译)
出现success证明打包完毕
一般可以在工程文件夹的,target目录->scala版本目录中找到打好的jar包
实际spark环境中测试
将jar包传到spark环境的系统中
这是一段wordcount的代码,开始执行
执行命令格式
YOUR_SPARK_HOME/bin/spark-submit \ 这个地方我们配置好环境变量后可以直接写 spark-submit
--master spark://cloud138:7077 \ spark集群的地址
--class 包名.类名
jar包名.jar 后面跟输入 输出
spark-submit --master spark://cloud138:7077 --class com.tescomm.test.test test2_2.10-1.0.jar 1.cx cxtest2
检查输出目录
检查结果
这是一段wordcount的代码,开始执行
执行命令格式
YOUR_SPARK_HOME/bin/spark-submit \ 这个地方我们配置好环境变量后可以直接写 spark-submit
--master spark://cloud138:7077 \ spark集群的地址
--class 包名.类名
jar包名.jar 后面跟输入 输出
spark-submit --master spark://cloud138:7077 --class com.tescomm.test.test test2_2.10-1.0.jar 1.cx cxtest2
检查输出目录
检查结果