使用Pig清洗数据

Pig是个不错的数据流语言,可以用于数据处理中的一些场景,比如日志分析。
在这里,我们假设有如下的数据:

  
num,name,age  
1,zhangsan,20  
2,lisi,30  
3,wangwu,25  

现在,我们想提取其中年龄大于20岁且小于30岁的人的记录,然后按照年龄升序进行存储。
对于这个简单的需求,我们可以使用Pig的本地模式进行操作:

  
pig -x local  

进入了grunt交互模式下,我们进行如下的操作:

  
grunt> patent = load 'patent.csv' using PigStorage(',') as (num,name,age);  
grunt> users = filter patent by age >= 20 and age <= 30;  
grunt> person = order users by age asc;  
grunt> store person into 'user' using PigStorage(',');  

这个过程简单的说,类似如下的操作:

  • 使用load函数加载文件,然后使用逗号进行分割,之后得到对应的字段。对于字段,我们可以设置其转换的类型,当然如果不进行设置的话,就是默认的bytearray。
  • 我们调用filter对patent按照age进行过滤
  • 使用order对users结果集按照age进行升序排序
  • 使用store将person结果集保存在user目录下

这个过程,可以说是很简单和符合非编程操作人员的操作。在这个过程中,我们可以通过dump person在终端上打印其输出信息。
如果对应的目录存在,可以删除后再进行存储:

  
grunt> fs -rm -r -f user;  

如果本地测试没有问题,那么我们将其编写在1个后缀为.pig的脚本中,其内容如下:

  
patent = load 'patent.csv' using PigStorage(',') as (num,name,age);  
users = filter patent by age > 20 and age <= 30;  
person = order users by age asc;  
store person into 'user' using PigStorage(',');  

然后我们执行如下的命令进行运行:

  
dog@debian:~$ pig -f patent.pig  

如果要进行语法的检验,可以使用-c选项:

  
dog@debian:~$ pig -c patent.pig  

这样就是1个简单的Pig的处理过程。
参考文章:

https://www.ibm.com/developerworks/cn/linux/l-apachepigdataquery/

若文章对您有帮助,请打赏1块钱。您的支持,可以让我分享更多精彩的文章。转载请注明来源


知识共享许可协议
本作品采用知识共享署名-非商业性使用-相同方式共享 2.5 中国大陆许可协议进行许可。