摘要:
服务功能 ResouceManager: 1、处理客户端的请求 2、启动和监控ApplicationMaster 3、监控nodemanager 4、资源的分配和调度 Nodemanager 1、处理单个节点的资源管理 2、处理来自ResouceManager的命令 3、处理来自Applicatio 阅读全文
摘要:
一个系统上线之后,开发和调优将会一直伴随在系统的整个生命周期中,HBase也不例外。下面我们要学习如何进行HBase读写性能调优,以获取最大的读写效率。 HBase写入优化客户端优化批量写采用批量写,可以减少客户端到RegionServer之间的RPC的次数,提高写入性能。批量写请求要么全部成功返回 阅读全文
摘要:
DataNode职责: 存储管理用户的文件块数据 定期向namenode汇报自身所持有的block信息(通过心跳信息上报) (这点很重要,因为,当集群中发生某些block副本失效时,集群如何恢复block初始副本数量的问题) 当一个datanode满足如下条件时被认为是stale了: 当一台data 阅读全文
摘要:
在Yarn框架中,调度器是一块很重要的内容。有了合适的调度规则,就可以保证多个应用可以在同一时间有条不紊的工作。最原始的调度规则就是FIFO,即按照用户提交任务的时间来决定哪个任务先执行,但是这样很可能一个大任务独占资源,其他的资源需要不断的等待。也可能一堆小任务占用资源,大任务一直无法得到适当的资 阅读全文