Mapreduce中Map与Reduce的个数制定
摘要:
操作: MapReduce框架将文件分为多个splits,并为每个splits创建一个Mapper,所以Mappers的个数直接由splits的数目决定。而Reducers的数目可以通过job.setNumReduceTasks()函数设置 1、Map任务的个数: 理论值: 1、Mapper数据过大 阅读全文
posted @ 2020-07-10 16:09 Yr-Zhang 阅读(3654) 评论(0) 推荐(0) 编辑