2018年8月23日
摘要：
在执行一个Job的时候，Hadoop会将输入数据划分成N个Split，然后启动相应的N个Map程序来分别处理它们。数据如何划分？Split如何调度（如何决定处理Split的Map程序应该运行在哪台TaskTracker机器上）？划分后的数据又如何读取？这就是本文所要讨论的问题。先从一张经典的MapR 阅读全文
摘要：
Hadoop2.0 Namenode HA实现方案介绍及汇总 Hadoop2.0 Namenode HA实现方案介绍及汇总 Hadoop2.0 Namenode HA实现方案介绍及汇总 Hadoop2.0 Namenode HA实现方案介绍及汇总 基于社区最新release的Hadoop2.2.0版 阅读全文
摘要：
Hadoop中NameNode单点故障解决方案 Hadoop 1.0内核主要由两个分支组成：MapReduce和HDFS,这两个系统的设计缺陷是单点故障，即MR的JobTracker和HDFS的NameNode两个核心服务均存在单点问题，这里只讨论HDFS的NameNode单点故障的解决方案。 需求 阅读全文
摘要：
HDFS介绍 HDFS（Hadoop Distributed File System ）Hadoop分布式文件系统。是根据google发表的论文翻版的。 什么是分布式文件系统 分布式文件系统（Distributed File System）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而 阅读全文
摘要：
什么是Zookeeper，Zookeeper的作用是什么，在Hadoop及hbase中具体作用是什么 一、什么是Zookeeper ZooKeeper 顾名思义 动物园管理员，他是拿来管大象(Hadoop) 、 蜜蜂(Hive) 、 小猪(Pig) 的管理员， Apache Hbase和 Apach 阅读全文