摘要：
Windows平台上使用ANT编译Hadoop Eclipse Plugin Windows平台上使用ANT编译Hadoop Eclipse Plugin 一、准备工作： 1、安装JDK 下载页面：http://www.oracle.com/technetwork/java/javase/downl 阅读全文
摘要：
/** * author : 冶秀刚 * mail : dennyy99@gmail.com */ Shuffle过程是MapReduce的核心，也被称为奇迹发生的地方。要想理解MapReduce， Shuffle是必须要了解的。我看过很多相关的资料，但每次看完都云里雾里的绕着，很难理清大致的逻辑， 阅读全文
摘要：
在hadoop第前几个版本中是没有快照功能的，2.x中是有这个特性的 Hadoop 2.x HDFS新特性 HDFS快照 HDFS快照 在2.x终于实现了快照 设置一个目录为可快照： hdfs dfsadmin -allowSnapshot <path> 取消目录可快照： hdfs dfsadmin 阅读全文
摘要：
Hadoop 2.x HDFS新特性 1.HDFS联邦 2. HDFS HA（要用到zookeeper等） 3.HDFS快照 回顾： HDFS两层模型 Namespace： 包括目录、文件和块。它支持所有命名空间相关的文件操作，如创建、删除、修改，查看所有文件和目录。 Block Storage S 阅读全文
摘要：
HDFS是Hadoop的核心模块之一，围绕HDFS是什么、HDFS的设计思想和HDFS的体系结构三方面来介绍。 Hadoop的设计思想受到Google公司的GFS设计思想的启示，基于一种开源的理念实现的分布式分布式文件系统。HDFS的设计基础与目标如下。 1）硬件错误（Hardware Failur 阅读全文
摘要：
照抄于网络： docs/hdfs-default.html这里是hdfs参数的含义。其中可见dfs.replication.min最小副本数dfs.safemode.threshold.pct阈值比例 Specifies the percentage of blocks that should sa 阅读全文
摘要：
背景 分布式的集群通常包含非常多的机器，由于受到机架槽位和交换机网口的限制，通常大型的分布式集群都会跨好几个机架，由多个机架上的机器共同组成一个分布式集群。机架内的机器之间的网络速度通常都会高于跨机架机器之间的网络速度，并且机架之间机器的网络通信通常受到上层交换机间网络带宽的限制。 具体到Hadoo 阅读全文