详细图解 Pig介绍、安装配置

时间:2022-01-18 17:26:54

写在前面一:

本文总结“Hadoop生态系统”中的其中一员——Apache Pig

详细图解 Pig介绍、安装配置

写在前面二:

环境说明:

详细图解 Pig介绍、安装配置

一、什么是Apache Pig

摘自官网:

详细图解 Pig介绍、安装配置

1、Pig是基于hadoop的一个数据处理的框架。      MapReduce是使用java进行开发的,Pig有一套自己的数据处理语言,Pig的数据处理过程要转化为MR来运行。 2、Pig的数据处理语言是数据流方式的,类似于初中做的数学题。 3、Pig基本数据类型:int、long、float、double、chararry、bytearray        复合数据类型:Map、Tuple、Bag         Bag的类型如{('age',31),('name','张三')}
二、Pig安装配置

2.1、下载Pig

        http://pig.apache.org/

2.2、解压缩

      cd /home/yujianxin/pig
      tar -zxvf  pig-0.11.1.tar.gz

2.3、配置pig环境变量

详细图解 Pig介绍、安装配置

2.4、修改$PIG_HOME/conf/pig.properties,增加如下内容

详细图解 Pig介绍、安装配置

三、验证Pig安装是否成功

通过命令行

详细图解 Pig介绍、安装配置

OK!