南国故人

摘要： 继上篇文章验证Cloudera RM HA功能后，现在开始分析Cloudera RM HA的原理。 设计目标主要目的是为了解决两种问题 计划外的机器挂掉 计划内的如软件和硬件升级等. 架构流程：两个RM, 启动的时候都是standby, 进程启动以后状态未被加载, 转换为active后才会加载相应的状态并启动服务. RM的状态通过配置可以存储在zookeeper, HDFS上。Standby转换到active可以通过命令或开启auto failover。 RM 的作业信息存储在ZK的/rmstore下，Active RM向这个目录写App信息。 RM启动的时候会通过向ZK的/hadoop-ha 阅读全文

摘要： 简介: 最新的Cloudera CDH5.0.0 beta版本已经支持RM的HA, 笔者为此简单验证了RM HA的功能. 后续将继续分析其HA的原理,以及其与社区RM HA的区别.集群部属与RM failover功能性验证硬件准备 四台机器, bj1, bj3, bj4, bj5 准备好相应的环境(包括ssh互通, java环境). 角色说明, bj1为rm1, bj3为rm2, bj4和bj4为slave. Zookeeper部属在bj1上. Hadoop版本准备http://archive.cloudera.com/cdh5/cdh/5/ 下载相应的CDH5版本hadoop-2.2.0-c 阅读全文

摘要： 我的一篇文章 已经发表在程序员2013年11月刊中, 原文链接为http://www.csdn.net/article/2013-12-04/2817706--YARN. 欢迎大家阅读与评论! 阅读全文

摘要： Hortworks Hadoop生态圈 阅读全文

摘要： 阿里招聘 阅读全文

摘要： 原文见: http://hortonworks.com/blog/moving-hadoop-beyond-batch-with-apache-yarn/Apache Hadoop 2.0继续通过开源社区apache软件基金会下成长, 并从社会发展的角度来看越来越接近于宣布"准备就绪", 一但准备就绪, 我们在Hortonworks的团队将应用我们一惯企业的严谨提供测试和分布式集成, 包含hadoop 2.0 与其它企业关注的服务和合作伙伴的要求.做为在Hortonworks和apache hadoop开源社区的角色, 我提出了许多关键环节的问题和hadoop 2.0背后的 阅读全文

摘要： 最新hadoop资讯 阅读全文

摘要： 本文介绍了YARN中historyServer的原理和配置 阅读全文

摘要： Hadoop 2.0中存在两个ipc包, 分别为hadoop RPC和新的YarnRPC, 本文简要描述了两种RPC. 阅读全文

摘要： yarn 中把jobtracker的功能拆分为ResourceManager和ApplicationMaster, 本文简要介绍了ApplicationMaster 启动流程与提供的服务. 阅读全文