2017年9月19日
十二道MR习题 - 2 - 多文件保存
摘要： 题目： 需要将MR的执行结果保存到3个文件中，该怎么做。 又是一个送分题。 对于Hadoop的MapReduce来说只需要设置一下reduce任务的数量即可。MR的Job默认reduce数量是1，需要调用job的setNumReduceTasks()方法来调整reduce任务的数量。 对于spark来说，可以调用coalesce方法或repartition方法来调整分区的数量，这样也可以调整最终... 阅读全文
posted @ 2017-09-19 22:09 robin·张 阅读(234) 评论(0) 推荐(0) 编辑