摘要: 转自:http://www.cnblogs.com/liuling/p/2013-6-17-01.html相关源代码:http://www.cnblogs.com/ggjucheng/archive/2013/02/19/2917020.htmlHDFS是一个分布式文件系统,既然是文件系统,就可以对... 阅读全文
posted @ 2016-01-05 23:28 五三中 阅读(502) 评论(0) 推荐(0) 编辑
摘要: 转自:http://www.aboutyun.com/thread-15494-1-2.html问题导读1、HDFS框架组成是什么?2、HDFS文件的读写过程是什么?3、MapReduce框架组成是什么?4、MapReduce工作原理是什么?5、什么是Shuffle阶段和Sort阶段?还记得2.5年... 阅读全文
posted @ 2016-01-05 22:39 五三中 阅读(5300) 评论(0) 推荐(0) 编辑
摘要: 转自:http://www.cnblogs.com/forfuture1978/archive/2010/03/14/1685351.html一、HDFS的基本概念1.1、数据块(block)HDFS(Hadoop Distributed File System)默认的最基本的存储单位是64M的数据... 阅读全文
posted @ 2016-01-05 21:27 五三中 阅读(426) 评论(0) 推荐(0) 编辑
摘要: 转自:http://my.oschina.net/BreathL/blog/75112?fromerr=pQGH9u7v原创博客,转载请注明:http://my.oschina.net/BreathL/blog/75112 最近做了一个项目,要求找出二度人脉的一些关系,就好似新浪微博的“你可能感... 阅读全文
posted @ 2016-01-05 21:25 五三中 阅读(705) 评论(0) 推荐(0) 编辑
摘要: 转自:http://www.cnblogs.com/forfuture1978/archive/2010/11/19/1882279.html转者注:本来想在Hadoop学习总结系列详细解析HDFS以及Map-Reduce的,然而查找资料的时候,发现了这篇文章,并且发现caibinbupt已经对Ha... 阅读全文
posted @ 2016-01-05 21:24 五三中 阅读(1296) 评论(0) 推荐(0) 编辑
摘要: 转自:http://blog.csdn.net/u011750989/article/details/12004065输入:日期 ...cookie id. ...商品id..xx xx xx输出:商品id 商品id列表(按优先级排序,用逗号分隔)xx xx比如:id1 id3,id0,id4,id... 阅读全文
posted @ 2016-01-05 21:14 五三中 阅读(215) 评论(0) 推荐(0) 编辑
摘要: 转自:http://liujiacai.net/blog/2014/09/07/yarn-intro/Yarn是随着hadoop发展而催生的新框架,全称是Yet Another Resource Negotiator,可以翻译为“另一个资源管理器”。yarn取代了以前hadoop中jobtracke... 阅读全文
posted @ 2016-01-05 17:14 五三中 阅读(2005) 评论(0) 推荐(0) 编辑
摘要: 转自:http://www.cnblogs.com/LeftNotEasy/archive/2012/02/18/why-yarn.html前言:有一段时间没有写博客了(发现这是我博客最常见的开头,不过这次间隔真的好长),前段时间事情比较多,所以耽搁得也很多。现在准备计划写一个新的专题,叫做《had... 阅读全文
posted @ 2016-01-05 11:17 五三中 阅读(395) 评论(0) 推荐(0) 编辑