随笔分类 -  [401]Hadoop

大数据生态
摘要:首先我们看一下NAMENODE: 我们已经知道了NAMENODE作为DATANODE的管理者,其重要性不言而喻,那么NAMENODE是怎么管理数据的呢? 首先,我们看一下上面这张图,每次客户端读写数据都要先经过NAMENODE,其实就是先查询NAMENODE中的元数据,那么问题来了,NAMENODE 阅读全文
posted @ 2017-02-19 16:00 DarrenChan陈驰 阅读(2025) 评论(1) 推荐(0) 编辑
摘要:参考以上这张图,实际上我们客户端访问HDFS里面的内容时,并不需要真实知道内容存在于服务器的内容的真实路径,我们只需要知道一个虚拟路径就可以,比如最上面的hdfs://weekend110:9000/wordcount/input/test.txt,而HDFS内部已经将虚拟路径和真实路径的映射关系对 阅读全文
posted @ 2017-02-11 22:15 DarrenChan陈驰 阅读(539) 评论(0) 推荐(0) 编辑
摘要:摘自知乎大神的论述 作者:Xiaoyu Ma链接:https://www.zhihu.com/question/27974418/answer/38965760来源:知乎著作权归作者所有,转载请联系作者获得授权。 大数据本身是个很宽泛的概念,Hadoop生态圈(或者泛生态圈)基本上都是为了处理超过单 阅读全文
posted @ 2017-02-11 21:11 DarrenChan陈驰 阅读(6488) 评论(3) 推荐(2) 编辑

Live2D