Hadoop - 随笔分类 - Bodi

【转】【漫画解读】HDFS存储原理

摘要：根据Maneesh Varshney的漫画改编，以简洁易懂的漫画形式讲解HDFS存储机制与运行原理。一、角色出演如上图所示，HDFS存储相关角色与功能如下： Client：客户端，系统使用者，调用HDFS API操作文件;与NN交互获取文件元数据;与DN交互进行数据读写。 Namenode：元数阅读全文

posted @ 2016-05-16 10:27 Bodi 阅读(2833) 评论(1) 推荐(1) 编辑

Hadoop 7、MapReduce执行环境配置

摘要：MR执行环境有两种：本地测试环境，服务器环境本地测试环境(windows，用于测试) 1、下载Winddows版的Hadoop程序，解压后在Hadoop目录的bin目录放置一个winutils.exe可执行文件（下载地址：http://pan.baidu.com/s/1mhrsQyG） 2、在wi 阅读全文

posted @ 2016-02-27 22:17 Bodi 阅读(2083) 评论(0) 推荐(0) 编辑

Hadoop 6、第一个mapreduce程序 WordCount

摘要：1、程序代码 Map: import java.io.IOException; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io 阅读全文

posted @ 2016-02-27 21:55 Bodi 阅读(3152) 评论(0) 推荐(0) 编辑

Hadoop 5、HDFS HA 和 YARN

摘要：

Hadoop 1.0 中HDFS和MapReduce存在高可用和扩展方面的问题阅读全文

posted @ 2016-01-29 11:26 Bodi 阅读(855) 评论(0) 推荐(0) 编辑

Hadoop 4、Hadoop MapReduce的工作原理

摘要：

MapReduce是hadoop的核心组件之一，hadoop要分布式包括两部分，一是分布式文件系统hdfs,一部是分布式计算框就是mapreduce，两者缺一不可，也就是说，可以通过mapreduce很容易在hadoop平台上进行分布式的计算编程。阅读全文

posted @ 2016-01-28 16:08 Bodi 阅读(2991) 评论(0) 推荐(0) 编辑

Hadoop 3、Hadoop 分布式存储系统 HDFS

摘要：

HDFS是Hadoop Distribute File System 的简称，也就是Hadoop的一个分布式文件系统。阅读全文

posted @ 2016-01-26 17:01 Bodi 阅读(13593) 评论(0) 推荐(5) 编辑

Error:/bin/bash: /bin/java: No such file or directory

摘要：描述：在Hadoop运行Job的时候，可能会报这样的一个错误“/bin/bash: /bin/java: No such file or directory”，那是因可能有些地方用到了/bin/java 这个路径，而这个路径是指向Java JDK的一个指向，相当于快捷方式，而/bin下面并不存在这个... 阅读全文

posted @ 2016-01-24 23:11 Bodi 阅读(2970) 评论(0) 推荐(0) 编辑

Hadoop 2、配置HDFS HA (高可用)

摘要：