2020年5月31日
采用Pentaho Kettle 7.1进行约500万条单表数据抽取，在快要抵达胜利的终点时，出现了内存泄漏，java.lang.OutOfMemoryError: Java heap space，竟然是因自己粗心导致
摘要： 背景 业务场景中需要抓取异构系统中的数据，自然想到了鼎鼎有名开源的ETL工具Kettle，网上说8的版本还有诸多问题，这里采用较老的7.1.0.0.-12 测试场景 1、运行环境 我使用了Kettle的Carte组件，将Kettle进行了Docker容器化打包，在服务器上部署运行，由于是测试，服务器 阅读全文
posted @ 2020-05-31 13:57 siupan 阅读(1454) 评论(6) 推荐(0) 编辑