2018年6月3日

Hadoop源代码点滴-系统结构(HDFS+YARN)

摘要: Hadoop建立起HDFS和YARN两个字系统,前者是文件系统,管数据存储;后者是计算框架,管数据处理。 如果只有HDFS而没有YARN,那么Hadoop集群可以被用作容错哦的文件服务器,别的就没有什么应用可言了。虽然HDFS是个分布式的文件系统,但是对服务器的用户来说那只是他的内部实现,从外部看与 阅读全文

posted @ 2018-06-03 17:41 手握太阳 阅读(215) 评论(0) 推荐(0) 编辑

Hadoop源代码点滴-文件系统HDFS

摘要: HDFS是Hadoop集群的文件系统,这是一种分布(distributed)、容错(fault tolerant)的文件系统 所谓分布,是说整个文件系统的内容并非集中存储在一台或几台“文件服务器上”,而是分散在集群的不同节点上 对于大数据文件系统,文件之所以应该是分布式的,不再仅仅是容量和容错的问题 阅读全文

posted @ 2018-06-03 15:41 手握太阳 阅读(136) 评论(0) 推荐(0) 编辑

导航