2015年5月31日
Pig 和 Hive 的优化
摘要： 一、Pig 优化 pig 主要瓶颈： (1). 输入数据量大小 (2). shuffle大小，即Map输出的大小 (3). 输出结果大小 (4). 中间结果大小 (5).内存 主要优化策略： 1. 尽早过滤 （filter） ，去除不需要的记录行 2. 尽早映射 （foreach......gene 阅读全文
posted @ 2015-05-31 21:28 lihui1625 阅读(251) 评论(0) 推荐(0) 编辑