Hive insert overwrite 出现错误解决方法
经常在使用hive会出现一些莫名其妙的错误,比如我最近使用hive在进行数据操作时遇到下面的问题:
将数据insert 到local不会出现问题,但是insert overwrite table 的时候遇到了如下的错误信息:
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MapRedTask
这个问题的解决方法:
这是集群有问题, 在 sql 语句末尾加入 distribute by "任意字段" 后不会出现该错误, 加入 distribute 语句后将数据打散,这样通常会解决问题。
当然还有一种比较笨的方法:就是将要插入的数据先导出到本地,然后再导入到相应的表中就可以了。