2022年6月2日
图文详解MapReduce工作机制
摘要： 图文详解MapReduce工作机制 job提交阶段 1、准备好待处理文本。 2、客户端submit()前，获取待处理数据的信息，然后根据参数配置，形成一个任务分配的规划。 3、客户端向Yarn请求创建MrAppMaster并提交切片等相关信息：job.split、wc.jar、job.xml。Yarn调用ResourceManager 阅读全文
posted @ 2022-06-02 21:13 Ji_Lei 阅读(457) 评论(0) 推荐(0) 编辑
Partition和ReduceTask的关系
摘要： Partition和ReduceTask的关系 先看源码： numPartitions = conf.getNumReduceTasks(); if (numPartitions > 1) { //设置了ReduceTask个数后（大于1），默认通过下面的getPartition()对数据进行分区 partitioner = (Partition 阅读全文
posted @ 2022-06-02 15:52 Ji_Lei 阅读(108) 评论(0) 推荐(1) 编辑