2017年6月12日
Hive优化
摘要： 一、map阶段优化 map端： spill(100M,80%)-->meger(压缩)参数：io.sort.mb（default100）当map task开始运算，并产生中间数据时，其产生的中间结果并非直接就简单的写入磁盘。而是会利用到了内存buffer来进行已经产生的部分结果的缓存，并在内存buf 阅读全文
posted @ 2017-06-12 18:42 志者之梦 阅读(418) 评论(0) 推荐(0) 编辑