idea构建spark开发环境,并本地运行wordcount

时间:2022-09-28 09:19:00

1、首先现在idea,官网:https://www.jetbrains.com/idea/

2、安装jdk1.8,scala2.11

3、下载idea后,需要在idea中安装scala的插件,安装的方式如下:

File--->settings--->Plugins--->输入scala(下图是我已经安装好了)

idea构建spark开发环境,并本地运行wordcount

3、配置spark依赖包

下载spark相关的包spark-2.1.1-bin-hadoop2.7.tgz 并将spark相关的jars依赖包添加到项目的library中,具体操作如下:

选中项目,按F4

idea构建spark开发环境,并本地运行wordcount

添加依赖包如下所示:(注意后面必须是Compile)

idea构建spark开发环境,并本地运行wordcount

4、出现的问题:

 (1)Error:(9, 8) App is already defined as object App

object App {}

 idea构建spark开发环境,并本地运行wordcount

这种问题是因为设置了多个source。只需要src为source即可。