摘要：在创建自定义的Mapper时候，编译正确，但上传到集群执行时出现错误： 程序开发的步骤是 在Windows的eclipse下开发，然后倒出JAR包，将JAR包放在集群上运行。 eclipse的jdk的版本不能高于hadoop里面配置的jdk的版本，否则会报错。（具体是什么类型的错误，记不到了） 问题 阅读全文

摘要：原 Hadoop MapReduce 框架的问题 原hadoop的MapReduce框架图 从上图中可以清楚的看出原 MapReduce 程序的流程及设计思路： 可以看得出原来的 map-reduce 架构是简单明了的，在最初推出的几年，也得到了众多的成功案例，获得业界广泛的支持和肯定，但随着分布式 阅读全文

摘要：本文仍然使用MapReduce的经典例子 WordCount来测试eclipse的开发环境。 与大部分教程不同的是，本文使用的hadoop是2.5.2的版本，相较于之前的0.X版本，hadoop 2.X有较大改动 在jar包方面，Hadoop 2.x 版本中 jar 不再集中在一个 hadoop-c 阅读全文

摘要：HDFS（Hadoop Distributed File System ）Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS（Google File System）Google 文件系统（中文，英文）。 1. 架构分析 基础名词解释： Block： 在HDFS中，每个文件都 阅读全文

摘要：搞什么东西之前，第一步是要知道What（是什么），然后是Why（为什么），最后才是How（怎么做）。但很多开发的朋友在做了多年项目以后，都习惯是先How，然后What，最后才是Why，这样只会让自己变得浮躁，同时往往会将技术误用于不适合的场景。 转自某博文 Hadoop框架中最核心的设计就是：Map 阅读全文