2015年5月7日
hadoop mapreduce 端参数优化
摘要： 在MapReduce执行过程中，特别是Shuffle阶段，尽量使用内存缓冲区存储数据，减少磁盘溢写次数；同时在作业执行过程中增加并行度，都能够显著提高系统性能，这也是配置优化的一个重要依据。下面分别介绍I/O属性和MapReduce属性这两个类的部分属性，并指明其优化方向。1 I/O属性类的优化I/... 阅读全文
posted @ 2015-05-07 10:05 爪哇攻城师 阅读(295) 评论(0) 推荐(0) 编辑