2015 年 3月 8 日随笔档案 - lvyafei

2015年3月8日

摘要： Hadoop中决定map个数的的因素有几个，由于版本的不同，决定因素也不一样，掌握这些因素对了解hadoop分片的划分有很大帮助，并且对优化hadoop性能也很有大的益处。旧API中getSplits方法: 1 public InputSplit[] getSplits(JobConf job, i... 阅读全文

posted @ 2015-03-08 23:03 lvyafei 阅读(729) 评论(0) 推荐(0) 编辑

编译Hadoop1.0.2历程和解决问题记录

摘要： 1.安装eclipse3.6.2，废止3.7，这个有很多问题2.安装eclipse插件ivyYou can install Apache IvyDE plugins from the IvyDE update site:http://www.apache.org/dist/ant/ivyde/u... 阅读全文

posted @ 2015-03-08 22:56 lvyafei 阅读(213) 评论(0) 推荐(0) 编辑

Hadoopd 单元测试-MPUnit

摘要： Apache 版:官网:http://mrunit.apache.org教程:https://cwiki.apache.org/confluence/display/MRUNIT/MRUnit+Tutorial注意:"org.apache.hadoop.mrunit.mapreduce.MapDri... 阅读全文

posted @ 2015-03-08 17:53 lvyafei 阅读(177) 评论(0) 推荐(0) 编辑

Hadoop版本变迁

摘要： Hadoop版本变迁到2012年5月为止，Apache Hadoop已经出现四个大的分支，如图2-1所示。Apache Hadoop的四大分支构成了四个系列的Hadoop版本。1. 0.20.X系列0.20.2版本发布后，几个重要的特性没有基于trunk而是在0.20.2基础上继续研发。值得一提的主... 阅读全文

posted @ 2015-03-08 01:25 lvyafei 阅读(392) 评论(0) 推荐(0) 编辑

lvyafei

公告