一、hadoop pig简介
二、Pig的安装和配置:
1.Pig的安装条件
(1).Hadoop
Pig有两种运行模式:Local模式和MapReduce模式。如果需要作业在分布式环境下运行,则需要安装Hadoop,否则可以选择不安装。另外,我安装的是Hadoop2.6.5,当然用户可以安装其他不同的版本,不过建议安装最新或较新的版本,因为版本是不端完善的嘛。
(2).Java 1.7
建议安装Java 1.7以上的版本,Java环境对于Pig来说是必需的。安装好后配置好环境变量即可。
以上可参见我前面“hadoop MapReduce”分类下的博客。
2.安装配置pig:
(1.)官网下载地址:http://www.apache.org/dyn/closer.cgi/pig
下载好后解压:tar -zvxf pig-0.16.0-tar.gz
我们可以将Pig放在系统的任何位置,只要配置好环境变量就可以使用Pig了,但为了管理方便,最好把Pig放到Hadoop所在的目录下。我这里放在了/usr/local/hadoop-2.6.5/pig/目录下面;
(2.)配置pig环境变量:
sudo gedit ~/.bashrc
在打开的文件的末尾添加以下信息:
export PIG_HOME=/usr/local/hadoop-2.6.5/pig/pig-0.16.0(替换成你的目录) export PATH=$PATH:$PIG_HOME/bin:$PIG_HOME/conf
保存后关闭,进入终端,source一下使配置立即生效:
source ~/.bashrc
至此,pig已经完成配置,在终端输入pig --help命令能出来命令提示表示pig配置成功。
三、eclipse配置pig插件
1.点击打开链接(https://issues.apache.org/jira/browse/PIG-366)下载pigpen的jar包,注意版本并放在eclipse的plugins目录下面。
2.https://wiki.apache.org/pig/PigPen官网上有具体的eclispe开发pig的样例说明。