eclipse 配置scala开发环境

时间:2022-03-21 21:51:11
eclipse 配置scala开发环境

最近在学习spark相关知识。准备搭建eclipse开发环境。在安装过程中遇到的问题记录下来。

首先在scala网站上下载了scalaIDE:http://scala-ide.org/download/prev-stable.html

下载完成后,新建scala项目,在项目上右键, 选择properties,

eclipse 配置scala开发环境

添加spark的jar包。

编写wordcount 程序,

package example

import org.apache.spark._
import SparkContext._
object WordCount {
def main(args: Array[String]): Unit = {
val conf = new SparkConf().setAppName("worldCount")
val sc = new SparkContext(conf)
val textFile = sc.textFile(args())
val result = textFile.flatMap(line => line.split(" "))
.map(word => (word, )).reduceByKey(_+_)
result.saveAsTextFile(args())
}
}

将程序导出为jar包,拷贝至linux上,执行命令:

./spark-submit --class example.WordCount --master spark://192.168.1.241:7077 /opt/word-count.jar  /opt/spark/README.md  /opt/result

运行结果:

eclipse 配置scala开发环境

注意: 搭建spark集群时,最好选择spark-with-hadoop,否则会出现缺少hadoop jar 包的问题