如何使用pig的AvroStorage存储array/map类型

 

 

文章目录

• 问题描述
• 解决方法

 

问题描述

之前项目一直使用pig进行数据迁移，输出文件的类型是Avro。
一开始都是将字段设为string类型，但后来随着上有数据类型变得复杂，原来pig脚本已经无法使用。
因为我们现在需要存储array和map类型的数据到avro文件中。

解决方法

• 对于输出map类型，请参考How can I using Pig scripts to generate nested Avro field?
• 对于array类型，请参考Changing bags into arrays in Pig Latin