原创文章,转载请注明: 转载自http://www.cnblogs.com/tovin/p/3822995.html
spark源码编译步骤如下:
cd /home/hdpusr/workspace
git clone git://github.com/apache/spark.git
cd spark
git checkout -b spark-1.0 v1.0.0
export SCALA_HOME=/usr/local(随便填个路径进行)
export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"
mvn -Pyarn -Phadoop-2.2 -Dhadoop.version=2.2.0 -DskipTests clean package (根据自己的hadoop版本进行设置)
编译后会生成的jar包
原创文章,转载请注明: 转载自http://www.cnblogs.com/tovin/p/3822995.html