Spark源码编译

时间:2021-09-21 22:55:55

原创文章,转载请注明: 转载自http://www.cnblogs.com/tovin/p/3822995.html

  

spark源码编译步骤如下:

  cd /home/hdpusr/workspace
  git clone git://github.com/apache/spark.git
  cd spark
  git checkout -b spark-1.0 v1.0.0
  export  SCALA_HOME=/usr/local(随便填个路径进行)
  export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"
  mvn -Pyarn -Phadoop-2.2 -Dhadoop.version=2.2.0 -DskipTests clean package   (根据自己的hadoop版本进行设置)

  Spark源码编译

  编译后会生成的jar包

  Spark源码编译

原创文章,转载请注明: 转载自http://www.cnblogs.com/tovin/p/3822995.html