摘要：
12.通过top命令我们可以知道哪些内容 !! load average: 0.00, 0.01, 0.05 这3个值最好都不要超过10（经验） 如果超过10就是不正常 需要查一下 VIRT：virtual memory usage 1、进程“需要的”虚拟内存大小，包括进程使用的库、代码、数据等 2 阅读全文
摘要：
web界面 在hosts文件都配备齐全以后就可以通过web来查看后台运行了 在浏览器输入外网ip加端口号 47.110.74.23:50070 就可以打开hadoop界面 如果在window的hosts文件里有配置 也可以hadoop001：50070 也可以打开web界面 打开以后就是这样 我们住 阅读全文
摘要：
MapReduce是一种分布式计算模型，是Google提出的，主要用于搜索领域，解决海量数据的计算问题。MR有两个阶段组成：Map和Reduce，用户只需实现map()和reduce()两个函数，即可实现分布式计算。 shuffle是介于map和reduce之间的一一步，需要经过网络来实现。 shu 阅读全文
摘要：
[hadoop@hadoop001 ~]$ mapred jobUsage: CLI <command> <args> [-submit <job-file>] [-status <job-id>] [-counter <job-id> <group-name> <counter-name>] [- 阅读全文
摘要：
理想情况下，我们应用对Yarn资源的请求应该立刻得到满足，但现实情况资源往往是有限的，特别是在一个很繁忙的集群，一个应用资源的请求经常需要等待一段时间才能得到相应的资源。在YARN中，负责给应用分配资源的就是Scheduler。其实调度本身就是一个难题，很难找到一个完美的策略可以解决所有的应用场景。 阅读全文
摘要：
在TARN中，资源管理由RescoueceManager和NodeManager共同完成，其中，Resourcemanager中的调度器负责资源分配，而NodeManager则负责资源的供给和隔离。 ResourceManager将某个Nodemanager上资源分配给任务（这就是所谓的资源调度）后 阅读全文