2021年11月4日
【Hadoop学习】补充：优化、新特性
摘要： 一、数据压缩 1、概述 原则：IO密集而不是计算密集的job 压缩算法选择 2、压缩位置选择 通过参数进行配置 3、压缩实例： 数据流的压缩和解压缩 Map输出端采用压缩 Reduce输出端采用压缩 二、企业优化 1、概述 从六个方面考虑：数据输入、Map阶段、Reduce阶段、IO传输、数据倾斜问 阅读全文
posted @ 2021-11-04 22:01 哥们要飞 阅读(43) 评论(0) 推荐(0) 编辑