impala 参数max_row_size

impala 往一个表里回插数据时,出现的现象:

Row of size 3.05MB could  not be materialized in plan node with id 5.increase the max_row_size query option (currently 512.00KB) to process larger rows

原因分析:

       可以参考:http://impala.apache.org/docs/build/html/topics/impala_max_row_size.html

确保Impala可以处理至少指定大小的行。 (可能会成功处理较大的行,但无法保证。)在结果集中构造中间行或最终行时适用。 此设置可防止在访问包含大字符串的列时使用导致内存失控。

如果查询失败,因为它涉及具有长字符串或许多列的行,导致总行大小超过 MAX_ROW_SIZE 字节,请增加 MAX_ROW_SIZE 设置以适应存储在最大行中的总字节数。检查任何失败查询的错误消息,以查看导致问题的行的大小。

 

解决方法:
默认的类型为string,string类型默认为UTF-8字符集下最大为64kb,即为65536 bytes。

set max_row_size=7mb;

然后在运行回插SQL即可。

posted @ 2021-01-22 14:20  醉城、  阅读(1353)  评论(0编辑  收藏  举报