java.lang.IllegalArgumentException: Buffer size too small. size = 262144 needed = 2205991

java.lang.IllegalArgumentException: Buffer size too small. size = 262144 needed = 2205991

 

报了这个错以后，具体的原因尚不清楚 有清楚的大老可以在评论区交流，我是把资源都调小了一些就可以了

 

最终的解决方案

 这个问题有点偶发性，幼师能跑成功，有时会失败 

最终的解决方案

是加了一个参数

--conf spark.sql.hive.convertMetastoreOrc=false

 

如果是parque的文件数据报错就用这个

spark.sql.hive.convertMetastoreParquet 参数
 
 
 
 
 
 
 
posted @   任重而道远的小蜗牛  阅读(1536)  评论(0)  编辑  收藏  举报
相关博文：
·  ORA-06502: PL/SQL: 数字或值错误：character string buffer too small
·  ORA-06502: PL/SQL: numeric or value error: character string buffer too small
·  ES报错：[parent] Data too large, data for [＜http_request＞] would be larger than limit of XXXX
·  CDH6.3.2 Hive on spark报错is running beyond physical memory limits
·  wcscat_s() 总是报错 Buffer is too small 的处理
阅读排行：
· 周边上新：园子的第一款马克杯温暖上架
· Open-Sora 2.0 重磅开源！
· .NET周刊【3月第1期 2025-03-02】
· 分享 3 个 .NET 开源的文件压缩处理库，助力快速实现文件压缩解压功能！
· [AI/GPT/综述] AI Agent的设计模式综述
点击右上角即可分享
微信分享提示
AI IDE Trae