kettle从入门到精通 第二十三课 kettle carte 错误（java.lang.OutOfMemoryError: GC overhead limit exceeded，Could not emit buffer due to lack of requests，java heap space）分析

 

1、Could not emit buffer due to lack of requests（无法发出缓冲区，因为请求不足。）

原因有两点：1）消费者处理数据能力较弱，如表输出步骤。2）消费者没有处理数据，如传递的数据中有字段type=1的数据，这种情况没有处理。

解放方案：针对 1）采用多线程处理和开启批量提交，如下图所示

批量插入步骤右键设置复制的数量，同时右键调整批量插入缓冲步骤设置数据发送方式为Round-Robin

 

 

针对 2）调整处理程序，处理所有情况数据，或者设置默认处理程序。

2、java.lang.OutOfMemoryError: GC overhead limit exceeded（垃圾回收超过限制）

原因：行集设置过小或者消费者消费能力弱。

解决方案：提高行集大小KETTLE_TRANS_ROWSET_SIZE=100000 或多线程处理（同上）

 3、java heap space（堆内存空间不足）

原因：行集设置过大或者kettle 内存设置较小。

解决方案：降低行集大小KETTLE_TRANS_ROWSET_SIZE

　　　　设置kettle 启动参数，在spoon.sh或者Spoon.bat中进行设置，自己根据实际情况设置大小