Hadoop集群错误
一、提交MapReduce作业到YARN时报错:org.apache.hadoop.yarn.exceptions.yarnexception: unauthorized request to start container.
解决办法:同步namenode和datanode的时间。
二、使用Map端Shuffle报错:wrong key class: class org.apache.hadoop.io.NullWritable is not class org.apache.hadoop.io.Text
解决办法:Map任务本地合并后输出的Key和Value必须一致,在Reduce函数中将输入输出的Key和Value类型设置相同即可,如将reduce<Text, NullWritable, NullWritable, Text> 改为reduce<Text, NullWritable, Text, NullWritable>则解决。
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步