随笔分类 -  Hadoop

Hadoop实战之四~hadoop作业调度详解(2)
摘要：这篇文章将接着上一篇wordcount的例子，抽象出最简单的过程，一探MapReduce的运算过程中，其系统调度到底是如何运作的。情况一：数据和运算分开的情况 wordcount这个例子的是hadoop的helloworld程序，作用就是统计每个单词出现的次数而已。其过程是：现在我用文字再来描述下... 阅读全文
posted @ 2014-09-23 11:48 灬后知后觉 阅读(1687) 评论(0) 推荐(2) 编辑
Hadoop实战之三~ Hello World
摘要：本文介绍的是在Ubuntu下安装用三台PC安装完成Hadoop集群并运行好第一个Hello World的过程，软硬件信息如下：Ubuntu:12.04 LTSMaster: 1.5G RAM,奔腾处理器。Slave1、Slave2:4G RAM,I3处理器。开始1 安装Ubuntu :http://... 阅读全文
posted @ 2014-09-18 17:13 灬后知后觉 阅读(6463) 评论(5) 推荐(5) 编辑
Hadoop实战之二~ hadoop作业调度详解(1)
摘要：对Hadoop的最感兴趣的地方，也就在于Hadoop的作业调度了，在正式介绍如何搭建Hadoop之前，深入理解一下Hadoop的作业调度很有必要。我们不一定能用得上Hadoop，但是如果理通顺Hadoop的分布式调度原理，在有需要的时候未必不能自己写一个Mini Hadoop~: )开始本文转载自：... 阅读全文
posted @ 2014-09-18 16:28 灬后知后觉 阅读(1724) 评论(4) 推荐(0) 编辑
Hadoop实战之一~Hadoop概述
摘要：对技术，我还是抱有敬畏之心的。Hadoop概述Hadoop是一个开源分布式云计算平台，基于Map/Reduce模型的，处理海量数据的离线分析工具。基于Java开发，建立在HDFS上，最早由Google提出，有兴趣的同学可以从Google三驾马车:GFS,mapreduce,Bigtable开始了解起... 阅读全文
posted @ 2014-09-10 12:39 灬后知后觉 阅读(5816) 评论(3) 推荐(12) 编辑

点击右上角即可分享
微信分享提示