2021年6月7日
Spark报错:Caused by: java.lang.IllegalArgumentException: Compression codec com.hadoop.compression.lzo
摘要： 问题 在yarn集群上提交一个spark-submit的任务，最后抛出一个异常 解决 原因： 因为在之前的项目中，在hadoop中的core-site.xml 和mapred-site.xml文件配置了lzo格式的压缩，这就导致上传到hdfs 的文件自动被压缩为lzo了。所以当使用提交spark-s 阅读全文
posted @ 2021-06-07 20:09 孙晨c 阅读(276) 评论(0) 推荐(0) 编辑