12 2023 档案

kettle从入门到精通 第二十七课 邮件发送
摘要：1、我们平常在做数据同步的时候，担心转换或者job没有正常运行，需要加上监控机制，这个时候就会用到邮件功能。 下图是一个简单的测试邮件发送功能的转换。在kettle.properties文件中设置邮件参数，通过邮件步骤进行发送。 2、地址参数配置 步骤名称此步骤在转换工作区中显示的名称。目标地址电子 阅读全文
posted @ 2023-12-27 08:39 慕容尘轩 阅读(430) 评论(0) 推荐(0) 编辑
kettle从入门到精通 第二十六课 再谈 kettle Transformation executor
摘要：1、前面文章有学习过Transformation executor ，但后来测试kettle性能的时候遇到了很大的问题，此步骤的处理性能太慢，导致内存溢出等问题。所以再次一起学习下此步骤的用法。 2、 如下图中rds-sametable-同步逻辑处理使用的是Transformation execut 阅读全文
posted @ 2023-12-25 08:43 慕容尘轩 阅读(274) 评论(0) 推荐(0) 编辑
kettle从入门到精通 第二十五课 kettle 再谈 kafka-consumer 步骤
摘要：前面写过kafka-consumer步骤初步使用教程，参考https://www.cnblogs.com/zjBoy/p/17296564.html，不过在使用此步骤的过程中还是遇到了一些问题，故在此和大家重新学习下kafka-consumer。重点讲解下如下参数： Duration(ms):请指定 阅读全文
posted @ 2023-12-21 19:27 慕容尘轩 阅读(321) 评论(0) 推荐(0) 编辑
kettle从入门到精通 第二十四课 kettle 部署生产常用命令
摘要：一、设置KETTLE_HOME环境变量 假设kettle软件目录为/xxx/data-integration vi ~/.bash_profile export KETTLE_HOME=/xxx/data-integration/config source ~/.bash_profile echo 阅读全文
posted @ 2023-12-19 16:48 慕容尘轩 阅读(619) 评论(0) 推荐(1) 编辑
kettle从入门到精通 第二十三课 kettle carte 错误（java.lang.OutOfMemoryError: GC overhead limit exceeded，Could not emit buffer due to lack of requests，java heap space）分析
摘要：1、Could not emit buffer due to lack of requests（无法发出缓冲区，因为请求不足。） 原因有两点：1）消费者处理数据能力较弱，如表输出步骤。2）消费者没有处理数据，如传递的数据中有字段type=1的数据，这种情况没有处理。 解放方案：针对 1）采用多线程处 阅读全文
posted @ 2023-12-06 15:30 慕容尘轩 阅读(689) 评论(0) 推荐(0) 编辑
kettle从入门到精通 第二十二课 kettle carte web服务中文乱码
摘要：在windows 上面 carte服务的canvas画布展示的中文正常，但是在linux上面中文展示乱码，如下所示： 原因：linux 机器缺少字体所致。 kettle源码中使用字体： 解决方法： 安装字体即可，无需重启机器，如果不生效，试着重启下carte服务，参考如下连接安装字体https:// 阅读全文
posted @ 2023-12-04 17:41 慕容尘轩 阅读(215) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示