2017年8月12日

Linux下搭建 NFS

摘要: 一、NFS简介 NFS是Network File System的缩写,即网络文件系统。一种使用于分散式文件协定,有SUN公司开发。功能是通过网络让不同的机器、不同的操作系统能够分享个人数据,让应用程序通过网络可以访问位于服务器磁盘中的数据。 NFS在文件传送或信息传送的过过程中,依赖于RPC协议。R 阅读全文

posted @ 2017-08-12 20:41 张冲andy 阅读(346) 评论(0) 推荐(0) 编辑

Hadoop体系结构之 Yarn

摘要: 1.1 YARN 基本架构 YARN是Hadoop 2.0中的资源管理系统,它的基本设计思想是将MRv1中的JobTracker拆分成了两个独立的服务:一个全局的资源管理器ResourceManager和每个应用程序特有的ApplicationMaster。 其中ResourceManager负责整 阅读全文

posted @ 2017-08-12 18:48 张冲andy 阅读(703) 评论(0) 推荐(0) 编辑

Hadoop体系结构之 Mapreduce

摘要: MR框架是由一个单独运行在主节点上的JobTracker和运行在每个集群从节点上的TaskTracker共同组成。主节点负责调度构成一个作业的所有任务,这些任务分布在不同的不同的从节点上。主节点监视它们的执行情况,并重新执行之前失败的任务。从节点仅负责由主节点指派的任务。当一个Job被提交时,Job 阅读全文

posted @ 2017-08-12 18:46 张冲andy 阅读(489) 评论(0) 推荐(0) 编辑

Hadoop体系结构之 HDFS

摘要: HDFS采用主从(Master/Slave)结构模型,一个HDFS集群是由一个NameNode和若干个DataNode组成的(在最新的Hadoop2.2版本已经实现多个NameNode的配置-这也是一些大公司通过修改hadoop源代码实现的功能,在最新的版本中就已经实现了)。NameNode作为主服 阅读全文

posted @ 2017-08-12 18:34 张冲andy 阅读(912) 评论(0) 推荐(0) 编辑

导航