随笔分类 -  hadoop问题修复

MultipleInputs FileSplit cannot be cast to TaggedInputSplit ClassCastException hadoop多路径格式输入异常
摘要：1.问题描述 使用hadoop 的reduce端排序，用MultipleInputs 输入两个文件夹下不同格式的文件，使用两个mapper解析，hadoop版本2.8.3. 3 hadoop 3.2.1也报同样的错误。 java.lang.Exception: java.lang.ClassCast 阅读全文
posted @ 2020-02-21 23:57 一字千金 阅读(358) 评论(0) 推荐(0) 编辑
java.lang.NullPointerException Ignoring exception during close for org.apache.hadoop.mapred.MapTask$NewOutputCollector@1398c56
摘要：1.问题描述：在调试mapreduce辅助排序（二次排序）的过程中，运行程序总是报错 Ignoring exception during close for org.apache.hadoop.mapred.MapTask$NewOutputCollector@1398c56java.lang.Nu 阅读全文
posted @ 2020-02-18 23:33 一字千金 阅读(789) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示