03 2022 档案

java.lang.Exception: java.lang.ClassCastException: org.apache.hadoop.mapreduce.lib.input.FileSplit cannot be cast to org.apache.hadoop.mapred.FileSplit
摘要：在使用FileSplit类内引用的jar包出现类错误，应该将这个jar包换为下面的： import org.apache.hadoop.mapreduce.lib.input.FileSplit; 阅读全文
posted @ 2022-03-30 22:35 Sofiacodes 阅读(92) 评论(0) 推荐(0) 编辑
FileInputFormat实现类总结
摘要：InputFormat 切片规则（getSplits） 把切片分解成KV（createRecordReader） FileInputFormat 按文件->块大小 没有实现 TextInputFormat 继承FileInputFormat LineRecordReader<偏移量，行数据> Com 阅读全文
posted @ 2022-03-29 21:30 Sofiacodes 阅读(32) 评论(0) 推荐(0) 编辑
TextInputFormat和KeyValueInputFormat的区别是什么？
摘要：TextInputFormat和KeyValueInputFormat的区别是什么？ TextInputformat和KeyValueTextInputFormat都继承FileInputFormat类， 每一行作为一个记录； 区别： TextInputformat将每一行在文件中的起始偏移量作为 阅读全文
posted @ 2022-03-29 21:23 Sofiacodes 阅读(156) 评论(0) 推荐(0) 编辑
Hadoop运行错误：输出目录已存在 - Output directory hdfs://master:9000/output already exists
摘要：Hadoop运行错误 - Output directory hdfs://master:9000/output already exists 在集群上测试： hadoop jar /opt/software/wc.jar com.atguigu.mapreduce.WordCountDriver / 阅读全文
posted @ 2022-03-25 10:48 Sofiacodes 阅读(3401) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示