摘要： yarn 调度器 FIFO Scheduler：先进先出(first in, first out)调度策略 Capacity Scheduler：FIFO Scheduler的多队列版本（默认，常用） Fair Scheduler：多队列，多用户共享资源。第一个任务占用所有资源，第二个任务到达之后第 阅读全文

摘要： Hadoop 性能优化 小文件问题 HDFS和MapReduce是针对大文件设计的，在小文件处理上效率低下，且十分消耗内存资源。每个小文件都会占用一个block、产生一个InputSplit、产生一个Map任务，这样map任务的启动时间很长，执行任务的时间很短。解决方法是使用容器将小文件组织起来，H 阅读全文