Hadoop Pig简介、安装

时间:2021-09-03 17:22:01

一、hadoop pig简介

二、Pig的安装和配置:

1.Pig的安装条件

(1).Hadoop

Pig有两种运行模式:Local模式和MapReduce模式。如果需要作业在分布式环境下运行,则需要安装Hadoop,否则可以选择不安装。另外,我安装的是Hadoop2.6.5,当然用户可以安装其他不同的版本,不过建议安装最新或较新的版本,因为版本是不端完善的嘛。

(2).Java 1.7

建议安装Java 1.7以上的版本,Java环境对于Pig来说是必需的。安装好后配置好环境变量即可。

以上可参见我前面“hadoop MapReduce”分类下的博客。

2.安装配置pig:

(1.)官网下载地址:http://www.apache.org/dyn/closer.cgi/pig

下载好后解压:tar -zvxf pig-0.16.0-tar.gz

我们可以将Pig放在系统的任何位置,只要配置好环境变量就可以使用Pig了,但为了管理方便,最好把Pig放到Hadoop所在的目录下。我这里放在了/usr/local/hadoop-2.6.5/pig/目录下面;

(2.)配置pig环境变量:

sudo gedit ~/.bashrc

在打开的文件的末尾添加以下信息:

export PIG_HOME=/usr/local/hadoop-2.6.5/pig/pig-0.16.0(替换成你的目录)  
export PATH=$PATH:$PIG_HOME/bin:$PIG_HOME/conf 

保存后关闭,进入终端,source一下使配置立即生效:

source ~/.bashrc

至此,pig已经完成配置,在终端输入pig --help命令能出来命令提示表示pig配置成功。

三、eclipse配置pig插件

1.点击打开链接(https://issues.apache.org/jira/browse/PIG-366)下载pigpen的jar包,注意版本并放在eclipse的plugins目录下面。

2.https://wiki.apache.org/pig/PigPen官网上有具体的eclispe开发pig的样例说明。