java.lang.IllegalArgumentException: Buffer size too small. size = 262144 needed = 2205991
java.lang.IllegalArgumentException: Buffer size too small. size = 262144 needed = 2205991
报了这个错以后,具体的原因尚不清楚 有清楚的大老可以在评论区交流,我是把资源都调小了一些就可以了
最终的解决方案
这个问题有点偶发性,幼师能跑成功,有时会失败
最终的解决方案
是加了一个参数
--conf spark.sql.hive.convertMetastoreOrc=false
如果是parque的文件数据报错就用这个
spark.sql.hive.convertMetastoreParquet 参数