Hive insert overwrite 出现错误解决方法

经常在使用hive会出现一些莫名其妙的错误,比如我最近使用hive在进行数据操作时遇到下面的问题:

将数据insert 到local不会出现问题,但是insert overwrite table 的时候遇到了如下的错误信息:

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MapRedTask

这个问题的解决方法:

这是集群有问题, 在 sql 语句末尾加入 distribute by "任意字段"  后不会出现该错误, 加入 distribute 语句后将数据打散,这样通常会解决问题。

当然还有一种比较笨的方法:就是将要插入的数据先导出到本地,然后再导入到相应的表中就可以了。

posted @ 2012-10-17 16:41  ancientmoon  阅读(1994)  评论(0编辑  收藏  举报