摘要:
RecordReader: 记录阅读器将数据分解为键/值对,以供映射器输入。 Partitioner: 分区键空间。 <p><code>Partitioner</code>控制中间映射输出键的分区。键(或键的子集)用于派生 分区,通常通过哈希函数。分区的总数与任务的reduce任务的总数相同。因此, 阅读全文
摘要:
Hadoop HDFS: 分布式存储系统,包含NameNode,DataNode。NameNode:元数据,DataNode。DataNode:存数数据。 yarn: 可以理解为MapReduce的协调机制,本质就是Hadoop的处理分析机制,分为ResourceManager NodeManage 阅读全文