随笔分类 -  Java

图解向hadoop分布式文件系统写文件的工作流程
摘要：网上看到一张关于hadoop分布式文件系统(hdfs)的工作原理的图片，其实主要是介绍了向hdfs写一个文件的流程。图中的流程已经非常清晰，直接上图 好吧，博客园告诉我少于200字的文章不允许发布到网站首页，我只能巴拉巴拉多扯几句了。以前一直以为从Client端写大文件到hdfs中需要先把文件全部传到Namenode上，然后由namenode来按块切分，并分发到Datanode上去。还是too young, too simple呀，上图简单的几个图让我茅塞顿开，文件的分割由client端完成，并由client端与Namenode分配的datanodes通讯并进行数据传输，Namenode... 阅读全文
posted @ 2013-09-03 16:28 AfterSummer 阅读(1194) 评论(0) 推荐(0) 编辑
在eclipse下远程调试hadoop2.0
摘要：在《在eclipse下编译hadoop2.0源码》一文中，我详细介绍了如何在eclipse环境和命令行环境下编译hadoop2.0源代码，并简单介绍了如何构建hadoop环境，这篇文章将着重介绍如何在eclipse下调试源代码。在hadoop2.0中，常用的模块有NameNode，DataNode, ResourceManager, NodeManager, FsShell等。这里我们以调试FsShell和NameNode模块为例。FsShell命令调试：FsShell命令是hadoop的Client端(任何hadoop集群上的节点都可以作为Client端)访问hadoop集群的最基本方式。比 阅读全文
posted @ 2013-07-07 00:30 AfterSummer 阅读(2113) 评论(1) 推荐(0) 编辑
在eclipse下编译hadoop2.0源码
摘要：Hadoop是一个分布式系统基础架构，由apache基金会维护并更新。官网地址:http://hadoop.apache.org/Hadoop项目主要包括以下4个模块:Hadoop Common: 为其他Hadoop模块提供基础设施。Hadoop HDFS:一个高高靠、高吞吐量的分布式文件系统。Hadoop MapReduce: 一个分布式的计算框架，包括任务调度和集群资源管理。Hadoop YARN: 一个新的MapReduce框架。有兴趣的同学请参考:http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/由于项目 阅读全文
posted @ 2013-07-05 00:10 AfterSummer 阅读(4876) 评论(2) 推荐(4) 编辑

点击右上角即可分享
微信分享提示