Pig安装
tar -zxvf pig-0.13.0.tar.gz -C /opt/modules/
vi /etc/profile
export PIG_HOME=/opt/modules/pig-0.13.0
export PATH=$PATH:$PIG_HOME/bin
编辑文件$PIG_HOME/conf/pig.properties，增加两行如下内容
fs.default.name=hdfs://hadoop-master.dragon.org:9000
mapred.job.tracker=hadoop-master.dragon.org:9001
pig 启动
1.Pig是基于hadoop的一个数据处理的框架。
MapReduce是使用java进行开发的，Pig有一套自己的数据处理语言，Pig的数据处理过程要转化为MR来运行。
2.Pig的数据处理语言是数据流方式的，类似于初中做的数学题。
3.Pig基本数据类型：int、long、float、double、chararry、bytearray
复合数据类型：Map、Tuple、Bag
Bag的类型如{('age',31),('name','张三')}
5.对wlan数据如何使用pig进行分析处理
5.1 把待处理的数据上传到HDFS中
5.2 把HDFS中的数据转换为pig可以处理的模式
A = LOAD '/wlan' AS (t0:long, msisdn:chararray, t2:chararray, t3:chararray, t4:chararray, t5:chararray, t6:long, t7:long, t8:long, t9:long, t10:chararray);
5.3 把里面的有用的字段抽取出来
B = FOREACH A GENERATE msisdn, t6, t7, t8, t9;
5.4 分组数据
C = GROUP B BY msisdn;
5.5 流量汇总
D = FOREACH C GENERATE
group, SUM(B.t6), SUM(B.t7), SUM(B.t8), SUM(B.t9);
5.6 存储到HDFS中
STORE D INTO '/wlan_result';