hadoop中mapreduce的默认设置

 

MR任务默认配置:

job.setMapperClass() Mapper Mapper将输入的<key,value>对原封不动地作为中间结果输出
job.setMapperOutputKeyClass() 与map结果的k类型一致 设置中间结果的key的类型
job.setMapperOutputValueClass() 与map结果的v类型一致 设置中间结果的value的类型
job.setReducerClass() Reducer Reducer将中间结果直接输出为最终结果。
job.setOutputKeyClass() LongWriteable \
job.setOutputValueClass() Text \
job.setInputFormatClass() TextInputFormat 文本文件将文本文件的多行分成splits,并通过LineRecorderReader,将其中的每一行解析成<key,value>对
job.setOutputFormatClass() TextOutputFormat TextOutputFormat将最终结果写成纯文本文件,每行一个<key,value>对,key和value之间用制表符分隔开来
job.setCombinerClass() null 不合并中间结果
job.setPartitionerClass() HashPartitioner HashPartitioner使用哈希函数完成Shuffle过程
posted @   时光舟  阅读(560)  评论(0编辑  收藏  举报
编辑推荐:
· 用 C# 插值字符串处理器写一个 sscanf
· Java 中堆内存和栈内存上的数据分布和特点
· 开发中对象命名的一点思考
· .NET Core内存结构体系(Windows环境)底层原理浅谈
· C# 深度学习:对抗生成网络(GAN)训练头像生成模型
阅读排行:
· 为什么说在企业级应用开发中,后端往往是效率杀手?
· 本地部署DeepSeek后,没有好看的交互界面怎么行!
· 趁着过年的时候手搓了一个低代码框架
· 推荐一个DeepSeek 大模型的免费 API 项目!兼容OpenAI接口!
· 用 C# 插值字符串处理器写一个 sscanf
点击右上角即可分享
微信分享提示