摘要:
本次课程的逻辑是同步t1表数据到t2表,t1和t2表的表机构相同,都有id,name,createtime三个字段。 CREATE TABLE `t1` ( `id` bigint NOT NULL AUTO_INCREMENT, `name` varchar(10) CHARACTER SET u 阅读全文
摘要:
1、群里有不定时会有同学反馈执行SQL脚本步骤使用有问题,那么咱们今天一起来学习下该步骤。trans中的执行SQL脚本有两方面功能,使用时需小心,不然很容易踩坑。 官方定义: 翻译: 您可以使用此步骤执行 SQL 脚本,可以选择在转换的初始化阶段执行一次,或者针对步骤接收的每一行输入执行一次。第二个 阅读全文
摘要:
kettle中不能直接调用python脚本,可以通过shell脚本和http进行调用pyton服务。 一、shell脚本调用python脚本 1、下面是一段简单的无参python脚本 import os def main(): # 在这里编写Python脚本的主要逻辑 print("Hello, t 阅读全文
摘要:
1、今天群里一个朋友加我微信遇到问下向我求助。一顿测试下来发现原来是使用kettle姿势不对,对kettle没有完全驾驭导致的,今天和大家一起分享下这个问题。 2、先自我膨胀下,自从写kettle系列文章之后认识了很多朋友,同时文章也帮助了很多人,让更多朋友少走弯路,高效率工作,节省更多时间享受生活 阅读全文
摘要:
1、大家都知道kettle设计的job流程文件有个缺点:只能设置简单的定时任务,无法设置复杂的如支持cron表达式的job。 今天给大家分享一个使用xxl-job调度carte的流程文件的示例。整个调度流程图如下: 1)xxl-job-admin,页面可视化配置任务。 2)xxl-job-execu 阅读全文
摘要:
1、kettle原生是支持for循环处理的,无需通过javascript脚本或者java脚本开发for循环控制。当然如果想通过脚本挑战下也是可以的。 本节课主要讲解如何通过kettle中的job来实现for循环控制,如下图所示: 1)步骤【设置变量】设置单个job级别的变量。 2)步骤【转换】加载数 阅读全文
摘要:
问题场景: 一个朋友说他用kettle将生成好的多个文件(a.xls和b.xls,文件在data目录下)发送给客户,但是data目录下还有其他的文件,他如果指定data目录发送会把 data目录下面的所有文件都作为附件进行发送,显然不符合要求,所以他当时的临时解决方法是创建个临时目录,里面只放a.x 阅读全文
摘要:
1、今天群里有位朋友问我有没有关于调用http接口的kettle 示例,我下意识的去翻我的公众号推文,愣是没找到。果断开始撸。 2、本次演示流程通过调用接口【网易云音乐随机歌曲】,然后解析返回的数据,接口信息如下图所示: 3、本次演示流程通过调用接口【网易云音乐随机歌曲】,然后解析返回的数据,流程设 阅读全文
摘要:
1、之前有个同学说他使用kettle执行一坨sql语句时,kettle直接卡死掉了。我给出的建议是使用存储过程,果不其然使用存储过程顺利解决问题。 今天我们一起来学习下kettle如何调用存储过程,这里基于mysql进行演示。调用存储过程有两种方法:使用步骤【调用DB存储过程】或者步骤【执行SQL脚 阅读全文
摘要:
1、9.4 版本的kettle中有两个Excel输出,Excel输出和Microsoft Excel输出。前者只支持xls格式,后者支持xls和xlsx两种格式,本节课主要讲解步骤Microsoft Excel输出,如下图所示: 1)、步骤【生成记录】生成两条测试数据,每条数据里面包含id和name 阅读全文