2020年1月7日
Hadoop企业优化
摘要： 1、MapReduce跑的慢的原因 MapReduce程序效率的瓶颈主要在于两点： 1、机器性能不足（CPU、内存、磁盘健康、网络） 2、IO操作优化 数据倾斜 Map和Reduce数设置不合理 Map运行时间太长，导致Reduce等待的时间太久 小文件 大量不可切分的超大文件 spill溢写次数过 阅读全文
posted @ 2020-01-07 23:52 爱学习没办法 阅读(143) 评论(0) 推荐(0) 编辑