摘要:
一、可以使用以下命令查使用内存最多的K个进程 方法1: 如果是10个进程,K=10,如果是最高的三个,K=3 说明:ps -aux中(a指代all——所有的进程,u指代userid——执行该进程的用户id,x指代显示所有程序,不以终端机来区分) ps -aux的输出格式如下: sort -k4nr中 阅读全文
摘要:
Shuffle过程是MapReduce的核心,也被称为奇迹发生的地方。要想理解MapReduce, Shuffle是必须要了解的。我看过很多相关的资料,但每次看完都云里雾里的绕着,很难理清大致的逻辑,反而越搅越混。前段时间在做MapReduce job 性能调优的工作,需要深入代码研究MapRedu 阅读全文