江山疯宇晴

摘要： OverviewNodeManager 是hadoop cluster的server中，负责管理，执行任务相关的资源，主要通过ResouceManager和ApplicationsManager通信，通过ContainerManager与ApplicationMasterService 通信，InitiateServicesDeletionServiceNodeHealthCheckerServiceNodeResouceMonitorContainerManagerWebServerDispatcherNodeStatusUpdateEvent HandlerContainerManager 阅读全文

摘要： overviewRMContainer FSM 是container在 ResourceManager中管理的对像，主要用来接收运行于NM上的container的状态，并对执行相应的操作。 阅读全文

摘要： OverviewRMAppAttempt state machine图 1-1APP_ACCEPTED HandleRMAppAttempt 由RMApp创建并启动，向scheduler 提交靖求之后进入submited 状态。 scheduler 验证请求，并创建一个内部App对像并提交到queue，等待调度，向dispatcher 发送APP_ACCEPTED消息，最终该消息将由RMAppAttempt处理：（这里以CapacityScheduler为例） FiCaSchedulerApp SchedulerApp = new FiCaSchedulerApp(ap... 阅读全文

摘要： Overview在hadoop中，很多资源的任务的实现都是用FSM来实现的，这里，用RMApp的实现来分析一下，Hadoop　FSM。下图展示了，Hadoo 中RMApp的状态机变化：图 1-1下面再来看一下，每个事件是什么时候触发，当事件发生的时候，又做了什么！完整的状态机在 Classloader 将RMAppImpl load 到JVM中就建立来， 初始的状态，NEW 在RMAppImpl 对像初始化的时候，建立，这是由ApplicationManager初始化的。 // Create RMApp application = new RMAppImpl(a... 阅读全文

摘要： Overview在hadoop中有几大类资源要管理，为管理这些资源，hadoop定义了自己的,通信的协议, 下表是通用的请求格式hrpcversionService classAuthMethodSerialize type(0)Body length5 bytes protocol header tag5 bytes valueMore tags at least 3,(callId, RpcOp, RpcKind)…..5 bytes Request header tag5 bytes lengthHeader body1More tags (method name, protocol c 阅读全文

摘要： 初始化ResourceManager 是Hadoop mapreduce v2 实现在的核心之一， 它负责，接收并分发客户请求，监视集群中可用的Node资源。在系统启动的时候，ResourceManager会启动实例化以下的service和 对像。Resourcemanager在初化过程中会读取yarn.resourcemanager.recovery.enabled 标志，如果打开，resourcemanager会偿试，从之前保存的状态恢复。默认关闭。 图 1-1在初始化过程中对应的Event及Handler如下：Event reg... 阅读全文