11 2018 档案

mapreduce map 的个数
摘要：在map阶段读取数据前，FileInputFormat会将输入文件分割成split。split的个数决定了map的个数。影响map个数（split个数）的主要因素有： 1) 文件的大小。当块（dfs.block.size）为128m时，如果输入文件为128m，会被划分为1个split；当块为256m 阅读全文
posted @ 2018-11-27 13:05 北京de小刀 阅读(1626) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示