hive 执行sql出现Invalid buffer

一、错误现象

在执行hive sql的时候,出现如下错误:

二、错误的原因很分析

hive的数据存储使用的是EC,然而ec在hdfs的3.1.x版本上面有bug,所以就出现了上述的问题。但是这个bug已经在后续的版本上面修复了。如下图:

具体的官方issue:
| https://issues.apache.org/jira/browse/HDFS-14373

三、解决办法:

1、升级hdfs
2、不升级hdfs,对当前的hdfs对应的jar包打对应的补丁。

posted @ 2020-12-03 15:06  北漂-boy  阅读(506)  评论(0编辑  收藏  举报