Windows下基于eclipse的Spark应用开发环境搭建

时间:2021-11-25 10:34:04

原创文章,转载请注明: 转载自www.cnblogs.com/tovin/p/3822985.html

一、软件下载

  maven下载安装 :http://10.100.209.243/share/soft/apache-maven-3.2.1-bin.zip
       jdk下载安装:
          http://10.100.209.243/share/soft/jdk-7u60-windows-i586.exe(32位)
          http://10.100.209.243/share/soft/jdk-7u60-windows-x64.exe(64位)
     eclipse下载安装:

  http://www.eclipse.org/downloads/download.php?file=/technology/epp/downloads/r     elease/kepler/SR2/eclipse-jee-kepler-SR2-win32.zip(32位)
  http://www.eclipse.org/downloads/download.php?file=/technology/epp/downloads/r    elease/kepler/SR2/eclipse-jee-kepler-SR2-win32-x86_64.zip(64位)

  scala下载安装:http://www.scala-lang.org/files/archive/scala-2.10.4.msi

  

二、环境变量配置

  JAVA_HOME=C:\Program Files\Java\jdk1.7.0_17
     M2_HOME=D:\soft\apache-maven-3.2.1
     SCALA_HOME=D:\soft\scala-2.10
     PATH=%PATH%;%JAVA_HOME%\bin;%M2_HOME%\bin;%SCALA_HOME%\bin

  Windows下基于eclipse的Spark应用开发环境搭建

三、Eclipse配置

  1、eclipse scala插件安装    
       在Eclipse中,依次选择“Help” –> “Eclipse Marketplace”,输入scala安装Scala IDE

    Windows下基于eclipse的Spark应用开发环境搭建

  2、eclipse配置jdk

    进入Window->Preferences配置jdk

    Windows下基于eclipse的Spark应用开发环境搭建

  3、eclipse配置maven

     Windows下基于eclipse的Spark应用开发环境搭建

四、Spark应用开发

  1、创建maven工程

    Windows下基于eclipse的Spark应用开发环境搭建

  2、修改pom.xml添加依赖包

    Windows下基于eclipse的Spark应用开发环境搭建

    注意:如果有依赖除hadoop、spark之外的包,打包时需要把依赖包也加进去。为了将依赖包加入,需要在pom.xml中加入如下内容  

   Windows下基于eclipse的Spark应用开发环境搭建

  3、转成java工程(方便使用Spark Java API进行开发)

  Windows下基于eclipse的Spark应用开发环境搭建

  4、编写代码编译、打包    
      工程点右键选择分别执行Maven clean、Maven install,至此在工程项目下target目录会有目标jar包生成

    Windows下基于eclipse的Spark应用开发环境搭建

  5、运行Spark应用

    上传编译好的jar包至spark集群client,执行以下命令运行程序   
       /usr/local/spark/bin/spark-submit  --class YourMainClass --master yarn-cluster YourJarPath
    YourMainClass:main函数类名
       YourJarPath:jar包绝对路径

原创文章,转载请注明: 转载自www.cnblogs.com/tovin/p/3822985.html