2015年8月26日
MR案例：CombineFileInputFormat
摘要： CombineFileInputFormat是一个抽象类。Hadoop提供了两个实现类CombineTextInputFormat和CombineSequenceFileInputFormat。此案例让我明白了三点：详见 解读：MR多路径输入 和 解读：CombineFileInputFormat类... 阅读全文
posted @ 2015-08-26 21:09 skyl夜 阅读(2056) 评论(0) 推荐(0) 编辑
HDFS的回收站 && 安全模式
摘要： 回收站机制　1). HDFS 的回收站机制由 core-site.xml 中 fs.trash.interval 属性(以分钟为单位)设置，默认是 0，表示未启用。注意：配置数值应该为1440，而配置24*60会抛出NumberFormatException异常(亲测)。　2). 回收站特性被启用时... 阅读全文
posted @ 2015-08-26 18:10 skyl夜 阅读(1060) 评论(0) 推荐(0) 编辑
MR案例：倒排索引 && MultipleInputs
摘要： 本案例采用 MultipleInputs类 实现多路径输入的倒排索引。解读：MR多路径输入package test0820;import java.io.IOException;import java.lang.reflect.Method;import org.apache.hadoop.conf... 阅读全文
posted @ 2015-08-26 12:54 skyl夜 阅读(709) 评论(1) 推荐(0) 编辑