会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
Sun's Blog-专注于阅读
嘿,青年,你想成什么样的人?
博客园
首页
新随笔
联系
管理
2021年6月7日
Spark报错:Caused by: java.lang.IllegalArgumentException: Compression codec com.hadoop.compression.lzo
摘要: 问题 在yarn集群上提交一个spark-submit的任务,最后抛出一个异常 解决 原因: 因为在之前的项目中,在hadoop中的core-site.xml 和mapred-site.xml文件配置了lzo格式的压缩,这就导致上传到hdfs 的文件自动被压缩为lzo了。所以当使用提交spark-s
阅读全文
posted @ 2021-06-07 20:09 孙晨c
阅读(276)
评论(0)
推荐(0)
编辑
公告