pig分组统计例子

1.选取数据样本
在pig安装目录下有一个文件tutorial/data/excite-small.log，其中的数据分为3列，中间用制表符分隔，第一列为用户ID，第二列为Unix时间戳，第三列为查询记录。
首先从该文件选取40条记录作为样本，另存为文件pig-testdata.log，上传到目录/zwy/soft中，如下：

2A9EABFB35F5B954	970916105432	+md foods +proteins
BED75271605EBD0C	970916001949	yahoo chat
BED75271605EBD0C	970916001954	yahoo chat
BED75271605EBD0C	970916003523	yahoo chat
BED75271605EBD0C	970916011322	yahoo search
BED75271605EBD0C	970916011404	yahoo chat
BED75271605EBD0C	970916011422	yahoo chat
BED75271605EBD0C	970916012756	yahoo caht
BED75271605EBD0C	970916012816	yahoo chat
BED75271605EBD0C	970916023603	yahoo chat
BED75271605EBD0C	970916025458	yahoo caht
BED75271605EBD0C	970916025516	yahoo chat
BED75271605EBD0C	970916030348	yahoo chat

2.输入下面命令开启grunt shell，进入pig本地模式

pig -x local

3.在Grunt Shell中输入如下命令，将数据装载到一个称为log的别名中。

grunt>log = LOAD '/zwy/soft/pig-testdata.log' AS (user,time,query);

注意：等号左右需要有空格，否则命令不起作用。

4.查看别名log的4个元组

grunt>lmt = LIMIT log 4;
grunt>DUMP lmt;

返回结果如下：

5.对log进行分组，并输出分组后信息

grunt>grpd = GROUP log BY user;
Grunt>cntd = FOREACH grpd GENERATE group,COUNT(log);
Grunt>DUMP cntd;

输出结果如下：