impala 参数max_row_size
impala 往一个表里回插数据时,出现的现象:
Row of size 3.05MB could not be materialized in plan node with id 5.increase the max_row_size query option (currently 512.00KB) to process larger rows
原因分析:
可以参考:http://impala.apache.org/docs/build/html/topics/impala_max_row_size.html
确保Impala可以处理至少指定大小的行。 (可能会成功处理较大的行,但无法保证。)在结果集中构造中间行或最终行时适用。 此设置可防止在访问包含大字符串的列时使用导致内存失控。
如果查询失败,因为它涉及具有长字符串或许多列的行,导致总行大小超过 MAX_ROW_SIZE 字节,请增加 MAX_ROW_SIZE 设置以适应存储在最大行中的总字节数。检查任何失败查询的错误消息,以查看导致问题的行的大小。
解决方法:
默认的类型为string,string类型默认为UTF-8字符集下最大为64kb,即为65536 bytes。
set max_row_size=7mb;
然后在运行回插SQL即可。
天下难事,必作于易;天下大事,必作于细