Spark源码编译，官网学习

时间：2021-02-06 01:41:41

这里以spark-1.6.0版本为例

官网网址   http://spark.apache.org/docs/1.6.0/building-spark.html#building-with-buildmvn

前提：使用Maven构建Spark需要Maven 3.3.3或更新版本和Java 7以上版本。

Spark构建可以提供合适的Maven二进制文件; 见下文。

1.用build/mvn 进行构建spark

Spark现在包含一个独用的Maven安装，以便轻松地从本地源码的build/目录下构建和部署Spark。 此脚本将自动下载并设置所有必需的构建要求（Maven，Scala和Zinc）在本身的build /目录里。 如果已经存在任何mvn二进制文件，它将会被授予，否则将自动下载Scala和Zinc副本，确保正确的版本要求得到满足。 build / mvn执行作为一个传递到mvn调用，允许从以前的构建方法轻松转换。 例如，可以如下构建Spark的版本：

build/mvn -Pyarn -Phadoop-2.4 -Dhadoop.version=2.4. -DskipTests clean package

这种方法没有测试，只看了官网的介绍，有兴趣大家可以自己测试一下。

2.make-distribution.sh 方式

要创建Spark分布，就像由Spark Downloads页面分发的那样，并且被布局为可运行，可以使用项目根目录中的make-distribution.sh。 它可以配置Maven配置文件设置等等直接的Maven构建。 例：

./make-distribution.sh --name custom-spark --tgz -Psparkr -Phadoop-2.4 -Phive -Phive-thriftserver -Pyarn

对于这个指令的更多的使用信息，可以help查看

./make-distribution.sh --help

这种方式没有测试，依旧只看了官网的介绍，有兴趣大家可以自己测试一下

3.maven进行构建spark

Spark源码编译，官网学习的更多相关文章

  1. [转]OpenTK学习笔记(1)-源码、官网地址

    OpenTK源码下载地址:https://github.com/opentk/opentk OpenTK使用Nuget安装命令:OpenTK:Install-Package OpenTK -Versi ...

  2. Spark源码编译

    原创文章,转载请注明: 转载自http://www.cnblogs.com/tovin/p/3822995.html spark源码编译步骤如下: cd /home/hdpusr/workspace ...

  3. spark源码编译记录

    spark在项目中已经用了一段时间了,趁现在空闲,下个源码编译在IDEA里面阅读下,特此记录过程. 前提已经安装maven和git 1.上官网下载源码的包: 2.然后解压到一个文件夹 3.编译,编译的 ...

  4. Spark源码编译并在YARN上运行WordCount实例

    在学习一门新语言时,想必我们都是"Hello World"程序开始,类似地,分布式计算框架的一个典型实例就是WordCount程序,接触过Hadoop的人肯定都知道用MapRedu ...

  5. Apache Spark源码走读之9 -- Spark源码编译

    欢迎转载,转载请注明出处,徽沪一郎. 概要 本来源码编译没有什么可说的,对于java项目来说,只要会点maven或ant的简单命令,依葫芦画瓢,一下子就ok了.但到了Spark上面,事情似乎不这么简单 ...

  6. Spark源码编译（未完待续）

    在这里我们不需要搭建独立的Spark集群,利用Yarn Client调用Hadoop集群的计算资源. Spark源码编译生成配置包: 解压源码,在根去根目录下执行以下命令(sbt编译我没尝试) ./m ...

  7. OpenTK学习笔记(1)-源码、官网地址

    OpenTK源码下载地址:https://github.com/opentk/opentk OpenTK使用Nuget安装命令:OpenTK:Install-Package OpenTK -Versi ...

  8. 【源码编译】spark源码编译

    本文采用cdh版本spark-1.6.0-cdh5.12.0 1.源码包下载 2.进入根目录编译,编译的方式有2种 maven mvn clean package \ -DskipTests -Pha ...

  9. spark源码编译，运行example遇到：NoClassDefFoundError: org/spark_project/guava/cache/CacheLoader

    基本环境: win10+idea Scala2.11.8 maven3.5.3 spark2.1.0 问题: 在window10下编译spark2.1.0源码,在idea下运行example,遇到问题 ...

随机推荐

  1. python+redis测试环境搭建

    针对windows操作系统. redis安装: 微软操作系统下,需下载github下面的开源项目,redis网站地址可以找到,直接解压即可. cmd到指定目录,输入下方命令,启动redis服务. re ...

  2. C和C++头文件的不同

    #include <IOSTREAM.h>void main(){    std::cout<<"Hello,World!"<<std::end ...

  3. FTP操作

    using System; using System.Collections.Generic; using System.Text; using System.IO; using System.Net ...

  4. 二、secureCRT的 使用过程

    准备工作: win7与linux能互相ping通 linux安装了ssh被登陆服务 关闭window 防火墙,,控制面板 下载secureCRT 参考资料:http://zhidao.baidu.co ...

  5. 复习篇（一）Activity的生命周期和启动模式

    (一)关于<intent-filter>中的<data> 当设置<data>过滤器的时候,使用intent的时候必须要设置响应的匹配,否则无法匹配成功.不过不设置则 ...

  6. RNN的简单的推导演算公式（BPTT）

    附上y=2x-b拟合的简单的代码. import numpy as np x = np.asarray([2,1,3,5,6]); y = np.zeros((1,5)); learning_rate ...

  7. 修改DrawerLayout 和toolbar 配合navigation的颜色

    大家都知道DrawerLayout 和toolbar 结合能出来高大上的效果. 使用到一个ActionBarDrawerToggle类. 那么怎么修改DrawerToggle的颜色呢,搜索了很多中文网 ...

  8. PHP判断点是否在多边形区域内外

    小谢博客原文地址https://xgs888.top/post/view?id=79 PHP判断点是否在多边形区域内外:根据数学知识的射线法, 射线与几何多边形相交的点的个数为奇数则是在几何内部: 偶 ...

  9. for循环：用turtle画一颗五角星

    import turtle # 设置初始位置 turtle.penup() turtle.left(90) turtle.fd(200) turtle.pendown() turtle.right(9 ...

  10. BZOJ2406矩阵

    题目描述 题解 最大值最小,一眼二分没的说. 然后考虑建出这么个图,每行看做一个点,每列看做一个点,每个点看做一条连接行与列的边,源点向每行连s-mid__s+mid的边,行与列连L__R的边,列到汇 ...

相关文章