2014年2月13日
旧版API的TextInputFormat源码分析
摘要： TextInputFormat类package org.apache.hadoop.mapred;import java.io.*;import org.apache.hadoop.fs.*;import org.apache.hadoop.io.LongWritable;import org.ap... 阅读全文
posted @ 2014-02-13 21:26 evashi 阅读(219) 评论(0) 推荐(0) 编辑
block和split的理解
摘要： 两者是从不同的角度来定义的：HDFS以固定大小的block为基本单位存储数据（分布式文件系统，实际存储角度，物理存储单位），而MapReduce以split作为处理单位（编程模型角度，逻辑单位）。对于文件中的一行记录，可能会划分到不同的block中，也可能划分到不同的split中。split是逻辑上... 阅读全文
posted @ 2014-02-13 11:38 evashi 阅读(1071) 评论(0) 推荐(1) 编辑