摘要: 1、HDFS的诞生背景: 数据量太大,在一个结点(机器)存不下。所以需要分布式存储,HDFS就是hadoop的分布式文件系统,来存储分布式数据。 2、共享文件系统也是一种分布式存储但有缺点:1、并发差,比如10个客户端并发去读写某个资源,就会存在负载问题。2、可靠性差,如果某台计算机坏了,该台计算机 阅读全文
posted @ 2016-05-09 16:17 hzhtracy 阅读(294) 评论(0) 推荐(0) 编辑
摘要: 1、广义的hadoop是一个庞大的生态体系 2、狭义的hadoop 三大核心概念:Mapreduce、YARN和HDFS 它们之间的关系:用Mapreduce的API去写程序,写完程序之后,这个程序就可以运行在这个集群上面,集群上的硬件资源 是靠YARN去做调度管理,程序分布的数据放在HDFS上面。 阅读全文
posted @ 2016-05-09 16:08 hzhtracy 阅读(195) 评论(0) 推荐(0) 编辑