摘要: 一、神马是高大上的MapReduce MapReduce是Google的一项重要技术,它首先是一个编程模型,用以进行大数据量的计算。对于大数据量的计算,通常采用的处理手法就是并行计算。但对许多开发者来说,自己完完全全实现一个并行计算程序难度太大,而MapReduce就是一种简化并行计算的编程模型,... 阅读全文
posted @ 2015-06-28 09:34 爱看球的领带 阅读(232) 评论(0) 推荐(0) 编辑
摘要: 一.HDFS出现的背景 随着社会的进步,需要处理数据量越来越多,在一个操作系统管辖的范围存不下了,那么就分配到更多的操作系统管理的磁盘中,但是却不方便管理和维护—>因此,迫切需要一种系统来管理多台机器上的文件,于是就产生了分布式文件管理系统,英文名成为DFS(Distributed File Sy... 阅读全文
posted @ 2015-06-28 09:31 爱看球的领带 阅读(315) 评论(0) 推荐(0) 编辑
摘要: 一、Hadoop的发展历史 说到Hadoop的起源,不得不说到一个传奇的IT公司—全球IT技术的引领者Google。Google(自称)为云计算概念的提出者,在自身多年的搜索引擎业务中构建了突破性的GFS(Google File System),从此文件系统进入分布式时代。除此之外,Google在... 阅读全文
posted @ 2015-06-28 09:24 爱看球的领带 阅读(270) 评论(0) 推荐(0) 编辑