摘要： 引用自Introduction to MapReduceMapReduce = functional programming meets distributed processing on steroidsDate back toLisp(in the 50's)Lisp:Focus on particular a dialect: “Scheme”Functions written in prefix notation(+ 1 2) -> 3(* 3 4) -> 12(sqrt (+ (* 3 3) (* 4 4))) -> 5(define x 3) -> 阅读全文

摘要： 采用ubuntu下的伪分布式(Pseudo-distributed mode)hadoop-0.20.2运行,运行步骤略,仅对wordcount程序进行分析,以理清MapReduce工作方式. 本文部分引自http://www.iteye.com/topic/606962package org.apache.hadoop.examples;import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hado... 阅读全文

摘要： 今天和同事好好的讨论了下接口的原理和作用， 发现原来自己的对接口的理解仅仅是局限在概念的高度抽象上， 觉得似乎理解了但是不会变化使用其实和没有理解差不多。 以前看一个帖子说学习一个东西不管什么时候都要带着“这个东西是什么？”、“这个东西有什么作用？”和“这个东西怎样用？”三个问题， 这三个问题回答下去了阐明你对这个事物的理解到达了一定的高度。 今天还有一个比拟深的阅历是要学习到知识就要多和人交流。 就像以前某个管理人员说得“要疯狂的交流”。 现在关于今天学到的接口局部做一个详细地总结： 接口的概念其实并不难理解， 接口关键字Interface， 在使用时可以只定义函数体而不需求详细的实现... 阅读全文

摘要： 1.什么是hadoop ? hadoop是一个高度容差的分布式文件系统,采用Master/Slave结构.由HDFS,MapReduce,HBase,Hive,ZooKeeper组成,是Sun的Apache下的项目.2.hadoop为什么会出现? 随着现代各类技术的发展,应用产生的数据与日据增.而数据存储密度增大的速度要远大于数据传输增大的速度. 处理这类问题的一种方法是将数据存储在多个磁盘中,对数据进行并行存取.这样可以使数据存取速度与并行运行的磁盘数量呈正比.3.多磁盘并行存取可能出现的问题. a.硬件故障.多磁盘运行比单磁盘运行出现硬件故障的可能性要大得多.解决这一问题的办法是... 阅读全文