随笔分类 - HDFS

Namenode HA原理详解（脑裂）

摘要：转自：http://blog.csdn.net/tantexian/article/details/40109331 Namenode HA原理详解社区hadoop2.2.0 release版本开始支持NameNode的HA，本文将详细描述NameNode HA内部的设计与实现。为什么要Name 阅读全文

posted @ 2016-04-07 14:30 五三中阅读(2498) 评论(0) 推荐(0) 编辑

HDFS Federation客户端(viewfs)配置攻略

摘要：转自：http://dongxicheng.org/hadoop-hdfs/hdfs-federation-viewfs/1.HDFS Federation产生背景在Hadoop 1.0中，HDFS的单NameNode设计带来诸多问题，包括单点故障、内存受限制约集群扩展性和缺乏隔离机制（不同业务使用... 阅读全文

posted @ 2016-01-07 15:25 五三中阅读(2557) 评论(1) 推荐(0) 编辑

MapReduce程序的工作过程

摘要：转自：http://www.aboutyun.com/thread-15494-1-2.html问题导读1、HDFS框架组成是什么？2、HDFS文件的读写过程是什么？3、MapReduce框架组成是什么？4、MapReduce工作原理是什么？5、什么是Shuffle阶段和Sort阶段？还记得2.5年... 阅读全文

posted @ 2016-01-05 22:39 五三中阅读(5307) 评论(0) 推荐(0) 编辑

Hadoop 学习总结之一：HDFS简介

摘要：转自：http://www.cnblogs.com/forfuture1978/archive/2010/03/14/1685351.html一、HDFS的基本概念1.1、数据块(block)HDFS(Hadoop Distributed File System)默认的最基本的存储单位是64M的数据... 阅读全文

posted @ 2016-01-05 21:27 五三中阅读(429) 评论(0) 推荐(0) 编辑

Hadoop中HDFS工作原理

摘要：转自：http://blog.csdn.net/sdlyjzh/article/details/28876385Hadoop其实并不是一个产品，而是一些独立模块的组合。主要有分布式文件系统HDFS和大型分布式数据处理库MapReduce。由于目前主要用到HDFS，所以这里看一下它的工作原理，以及相应... 阅读全文

posted @ 2016-01-04 17:55 五三中阅读(644) 评论(0) 推荐(0) 编辑

Hadoop分布式文件系统--HDFS结构分析

摘要：转自：http://blog.csdn.net/androidlushangderen/article/details/47377543HDFS系列：http://blog.csdn.net/Androidlushangderen/article/category/5734703前言在Hadoop内... 阅读全文

posted @ 2015-12-14 01:40 五三中阅读(1101) 评论(0) 推荐(0) 编辑

Hadoop核心架构HDFS+MapReduce+Hbase+Hive内部机理详解

摘要：转自：http://blog.csdn.net/yczws1/article/details/19178265。纯干货：Hadoop核心架构HDFS+MapReduce+Hbase+Hive内部机理详解。通过这一阶段的调研总结，从内部机理的角度详细分析，HDFS、MapReduce、Hbase、H... 阅读全文

posted @ 2015-10-29 01:17 五三中阅读(5700) 评论(0) 推荐(1) 编辑