spork:Apache Spark 上的 Pig

时间:2024-07-06 23:48:35
【文件属性】:

文件名称:spork:Apache Spark 上的 Pig

文件大小:16.38MB

文件格式:ZIP

更新时间:2024-07-06 23:48:35

Java

阿帕奇猪 Pig 是一个数据流编程环境,用于处理非常大的文件。 猪的语言被称为猪拉丁语。 Pig Latin 程序由一个有向无环图组成,其中每个节点代表一个转换数据的操作。 操作有两种风格:(1)关系代数风格的操作,如连接、过滤、项目; (2) 函数式编程风格的操作符,如 map、reduce。 Pig 将这些数据流程序编译成(序列)map-reduce 或 Apache Tez 作业,并使用 Hadoop 执行它们。 也可以以“本地”模式(没有 Hadoop 集群)执行 Pig Latin 程序,在这种情况下,所有处理都在单个本地 JVM 中进行。 基本信息 有关 Pig 的最新信息,请访问我们的网站: 和我们的维基,在: 入门 要了解 Pig,请尝试 要构建和运行 Pig,请尝试和 要查看函数库,请尝试 为项目做贡献 我们欢迎所有贡献。 有关详细信息,请访问 。


网友评论