上一页 1 ··· 15 16 17 18 19 20 21 22 23 ··· 31 下一页
摘要: 转自:http://blog.csdn.net/androidlushangderen/article/details/41172865Partition的中文意思就是分区,分片的意思,这个阶段也是整个MapReduce过程的第三个阶段,就在Map任务的后面,他的作用就是使key分到通过一定的分区算... 阅读全文
posted @ 2015-12-14 00:55 五三中 阅读(513) 评论(0) 推荐(0) 编辑
摘要: 转自:http://blog.csdn.net/androidlushangderen/article/details/41142795上篇我刚刚学习完,Spilt的过程,还算比较简单的了,接下来学习的就是Map操作的过程了,Map和Reduce一样,是整个MapReduce的重要内容,所以,这一篇... 阅读全文
posted @ 2015-12-14 00:54 五三中 阅读(574) 评论(0) 推荐(0) 编辑
摘要: 转自:http://blog.csdn.net/androidlushangderen/article/details/41114259昨天经过几个小时的学习,把MapReduce的第一个阶段的过程学习了一下,也就是最最开始的时候从文件中的Data到key-value的映射,也就是InputForm... 阅读全文
posted @ 2015-12-14 00:53 五三中 阅读(355) 评论(0) 推荐(0) 编辑
摘要: 转自:http://blog.csdn.net/Androidlushangderen/article/details/41051027继前段时间分析Redis源码一段时间之后,我即将开始接下来的一段技术学习的征程,研究的技术就是当前非常火热的Hadoop,但是一个Hadoop生态圈是非常庞大的,所... 阅读全文
posted @ 2015-12-14 00:51 五三中 阅读(656) 评论(0) 推荐(0) 编辑
摘要: 转自:http://blog.csdn.net/androidlushangderen/article/details/41243505MapReduce五大过程已经分析过半了,上次分析完Map的过程,着实花费了我的很多时间,不过收获很大,值得了额,这次用同样的方法分析完了Reduce的过程,也算是... 阅读全文
posted @ 2015-12-13 21:33 五三中 阅读(449) 评论(0) 推荐(0) 编辑
摘要: 转自:http://blog.csdn.net/androidlushangderen/article/details/41356521在Hadoop中,启动作业运行的方式有很多,可以用命令行格式把打包好后的作业提交还可以,用Hadoop的插件进行应用开发,在这么多的方式中,都会必经过一个流程,作业... 阅读全文
posted @ 2015-12-13 21:31 五三中 阅读(289) 评论(0) 推荐(0) 编辑
摘要: 转自:http://blog.csdn.net/jsagnoy/article/details/41545883从hadoop框架与MapReduce模式中谈海量数据处理前言 几周前,当我最初听到,以致后来初次接触Hadoop与MapReduce这两个东西,我便稍显兴奋,觉得它们很是神秘,而神秘的东... 阅读全文
posted @ 2015-12-13 21:29 五三中 阅读(346) 评论(0) 推荐(0) 编辑
摘要: 转自:http://www.csdn.net/article/2014-01-28/2818282-Spark-Streaming-big-data提到Spark Streaming,我们不得不说一下BDAS(Berkeley Data Analytics Stack),这个伯克利大学提出的关于数据... 阅读全文
posted @ 2015-12-13 17:39 五三中 阅读(574) 评论(0) 推荐(0) 编辑
摘要: 转自:http://www.cnblogs.com/cenyuhai/tag/hbase%E6%BA%90%E7%A0%81%E7%B3%BB%E5%88%97/(mark)hbase源码系列(十)HLog与日志恢复HLog概述hbase在写入数据之前会先写入MemStore,成功了再写入HLog,... 阅读全文
posted @ 2015-12-10 00:26 五三中 阅读(597) 评论(0) 推荐(0) 编辑
摘要: 转自:http://www.it165.net/admin/html/201312/2178.htmlorg.apache.hadoop.conf.Configuration类是Hadoop所有功能的基础类,每一种功能执行之前都需要有先得到一个Configuration对象。Hadoop使用了XML... 阅读全文
posted @ 2015-12-10 00:22 五三中 阅读(561) 评论(0) 推荐(0) 编辑
上一页 1 ··· 15 16 17 18 19 20 21 22 23 ··· 31 下一页