摘要: mapreduce程序应该是在很多机器上并行启动,而且先执行map task,当众多的maptask都处理完自己的数据后,还需要启动众多的reduce task,这个过程如果用用户自己手动调度不太现实,需要一个自动化的调度平台——hadoop中就为运行mapreduce之类的分布式运算程序开发了一个 阅读全文
posted @ 2019-07-17 10:10 寅狗 阅读(437) 评论(0) 推荐(0) 编辑
摘要: 1、什么是元数据? hdfs的目录结构及每一个文件的块信息(块的id,块的副本数量,块的存放位置<datanode>) 2、元数据由谁负责管理? namenode 3、namenode把元数据记录在哪里? namenode的实时的完整的元数据存储在内存中; namenode还会在磁盘中(dfs.na 阅读全文
posted @ 2019-07-17 09:41 寅狗 阅读(696) 评论(0) 推荐(0) 编辑