摘要： 场景： kettle中http post步骤如何发送http请求且传递body参数？ 解决方案： http post步骤中直接设置Request entity field字段即可。 1、手边没有现成的post接口，索性用python搭建一个简单的接口，关键代码如下（安装python环境略）： fro 阅读全文

摘要： 场景：输入在指定的错误(错误应涵盖数据类型不匹配的情况)行数内，trans不报错，但通过错误处理步骤捕捉，并记入文件，整个数据管线正常完成直至处理完最后一个输入行。 解决方案：使用步骤【数据检验】进行处理。这个步骤和常规的业务系统对接三方接口一个逻辑，将符合规则的数据放行，不符合的记录。 数据准备（ 阅读全文

摘要： 1、之前kettle cdc mysql的时候使用的方案是canal+kafka+kettle，今天我们一起学习下使用kettle的插件Debezium直接cdc mysql。 注：CDC (Change Data Capture) 是一种技术，用于捕获和同步数据库中的更改。 1）Debezium步 阅读全文

摘要： 1、在做ETL数据抽取的时候，会用到生成随机数的功能，今天我们一起来学习下如何生成随机数据。如下图所示 2、将生成随机数拉倒画布即可，然后设置字段名称和选择合适的类型，如下图所示： 类型： 随机数字：生成一个介于 0 和 1 之间的随机数随机整数：生成一个随机的 32-bit整数随机字符串：基于 6 阅读全文

摘要： 场景：ETL沟通交流群内有小伙伴反馈，如何多个分支处理完毕之后记录下同步结果呢？或者是调用后续步骤、存储过程、三方接口等。 解决：使用步骤Blocking step进行阻塞处理即可。 1、 如下流程图中利用Blocking step步骤同时阻塞【模拟表输出1】和【模拟表输出2】两个步骤，只有当两个步 阅读全文

摘要： 场景：ETL沟通交流群内有小伙伴反馈，如何在同步一批数据完成之后记录下同步结果呢？或者是调用后续步骤、存储过程、三方接口等。 解决：使用步骤Blocking step进行阻塞处理即可。 1、下面的demo演示从表t1同步数据至表t2（t1表中有三条数据，t2为空表，两个表表结构相同），然后数据同步完 阅读全文

摘要： 1、调整JVM大小 linux文件路径：data-integration/spoon.sh windows路径： -Xms1024m：设置JVM初始内存为1024m。此值可以设置与-Xmx相同，以避免每次垃圾回收完成后JVM重新分配内存。 -Xmx2048m：设置JVM最大可用内存为2048M。 - 阅读全文

摘要： 本次课程的逻辑是同步t1表数据到t2表，t1和t2表的表机构相同，都有id，name,createtime三个字段。 CREATE TABLE `t1` ( `id` bigint NOT NULL AUTO_INCREMENT, `name` varchar(10) CHARACTER SET u 阅读全文

摘要： 1、群里有不定时会有同学反馈执行SQL脚本步骤使用有问题，那么咱们今天一起来学习下该步骤。trans中的执行SQL脚本有两方面功能，使用时需小心，不然很容易踩坑。 官方定义： 翻译： 您可以使用此步骤执行 SQL 脚本，可以选择在转换的初始化阶段执行一次，或者针对步骤接收的每一行输入执行一次。第二个 阅读全文

摘要： kettle中不能直接调用python脚本，可以通过shell脚本和http进行调用pyton服务。 一、shell脚本调用python脚本 1、下面是一段简单的无参python脚本 import os def main(): # 在这里编写Python脚本的主要逻辑 print("Hello, t 阅读全文