摘要: RecordReader: 记录阅读器将数据分解为键/值对,以供映射器输入。 Partitioner: 分区键空间。 <p><code>Partitioner</code>控制中间映射输出键的分区。键(或键的子集)用于派生 分区,通常通过哈希函数。分区的总数与任务的reduce任务的总数相同。因此, 阅读全文
posted @ 2021-09-22 23:24 大风吹爱护 阅读(24) 评论(0) 推荐(0) 编辑
摘要: Hadoop HDFS: 分布式存储系统,包含NameNode,DataNode。NameNode:元数据,DataNode。DataNode:存数数据。 yarn: 可以理解为MapReduce的协调机制,本质就是Hadoop的处理分析机制,分为ResourceManager NodeManage 阅读全文
posted @ 2021-09-22 00:06 大风吹爱护 阅读(54) 评论(0) 推荐(0) 编辑