08 2021 档案
摘要:Hadoop之Mapred 1.1 Mapred的大致流程 1.2Mapred的详细流程 文件File:文件要存储在HDFS中,每个文件切分成多个一定大小(默认64M)的Block(默认3个备份)存储在多个节点(DataNode)上。文件数据内容:We are studying at school.
阅读全文
摘要:Hadoop之HDFS 1.1 HDFS hdfs 是分布式的文件管理系统 优点 : 缺点 : , 不支持低延时的数据访问。 例如毫秒级的。 , 无法对大量的小文件进行存储 存储大量小文件的话, 它会占用NameNode大量的内存来存储文件目录和块信息。 这样是不可取的, 因为NameNode的
阅读全文