摘要: 我们生活在大数据时代!!!微博、微信、云存储等大数据的需求,Hadoop由此诞生。以下面部分数据为例:1)Facebook存储着约100亿张照片,约1PB存储容量;2)纽约证券交易所每天产生1TB的交易数据。数据存储与分析:我们遇到的问题很简单:多年来的磁盘数据读取速度诶发与时俱进,而在大数据时代获取信息的时效性是比较严格的,同时大数据意味着无法把所有数据存储在同一地方,分布式文件系统HDFS(hadoop distributed FileSystem)由此衍生。MapReduce提出一个编程模型,该模型将磁盘读写的问题进行抽象,并转换成为对一个数据集(由键/ 值对组成)的计算。该计算由ma. 阅读全文
posted @ 2013-07-14 20:51 wang_tale 阅读(674) 评论(0) 推荐(0) 编辑