Hadoop本地库介绍
摘要：
util.NativeCodeLoader: Loaded the native-hadoop library 阅读全文
posted @ 2012-05-28 14:34 巫峡 阅读(442) 评论(0) 推荐(1) 编辑
2012年5月28日 #
2012年5月23日 #
hbase 简介
摘要：
hbase介绍一、简介history started by chad walters and jim2006.11 G release paper on BigTable2007.2 inital HBase prototype created as Hadoop contrib2007.10 First useable Hbase2008.1 Hadoop become Apache top-level project and Hbase becomes subproject2008.10 Hbase 0.18,0.19 released hbase是bigtable的开源山寨版本。是建立的 阅读全文
posted @ 2012-05-23 16:10 巫峡 阅读(262) 评论(0) 推荐(0) 编辑
2012年5月18日 #
MapReduce:详解Shuffle过程
摘要：
Shuffle过程是MapReduce的核心，也被称为奇迹发生的地方。要想理解MapReduce， Shuffle是必须要了解的。我看过很多相关的资料，但每次看完都云里雾里的绕着，很难理清大致的逻辑，反而越搅越混。前段时间在做Mahout的输出预处理工作，需要深入代码研究MapReduce的运行机制，这才对Shuffle探了个究竟。 考虑到之前我在看相关资料而看不懂时很恼火，所以在这里我尽最大的可能试着把Shuffle说清楚，让每一位想了解它原理的朋友都能有所收获。如果你对这篇文章有任何疑问或建议请留言到后面，谢谢！ Shuffle的正常意思是洗牌或弄乱，可能大家更熟悉的是Java API里. 阅读全文
posted @ 2012-05-18 12:30 巫峡 阅读(229) 评论(0) 推荐(0) 编辑