摘要：
场景： 群里有小伙伴咨询kettle从Elasticsearch中抽取数据，群里老师们纷纷响应，vip小伙伴是不是有中受宠若惊的感觉。 今天我们使用kettle通过es的原生rest接口来进行操作es，开整。 前提：本篇文章基于elasticsearch:7.17.9版本进行测试，在 Elastic 阅读全文
posted @ 2025-05-07 22:22
慕容尘轩
阅读(315)
评论(0)
推荐(0)
摘要：
场景： 有小伙伴私聊我咨询使用kettle获取企业微信打卡数据，最近工作比较忙，只能趁着晚上的时候给小伙伴解决问题，不过通过kettle获取企业微信打卡记录还是有一定难度的， 有难度才有挑战，盘它！ 1、了解企业微信接口 所谓知己知彼，百战不殆。看了下企业微信的接口大概分为两类： 1）通过corpI 阅读全文
posted @ 2025-05-01 22:54
慕容尘轩
阅读(175)
评论(0)
推荐(0)
摘要：
1、在使用kettle时如果对表输出性能要求，可以考虑用mysql 批量加载步骤，该步骤可以实现每秒5万+的数据同步（该数据仅是基于我本人的笔记本，若是服务器则效率更高），如下图所示： 2、原理 知其然知其所以然，之所以MySQL Bulk Loader速度如此之快是因为MySQL 批量加载器使用“ 阅读全文
posted @ 2025-04-01 21:57
慕容尘轩
阅读(332)
评论(0)
推荐(0)
摘要：
场景：群里有小伙伴向我求助如何调用web service接口，趁着周末时间，给兄弟们搞demo。 1、本次使用的web service服务接口地址是http://ws.webxml.com.cn/WebServices/WeatherWS.asmx?op=getSupportCityDataset， 阅读全文
posted @ 2025-03-29 21:46
慕容尘轩
阅读(804)
评论(0)
推荐(0)
摘要：
场景：群里有小伙伴反馈kettle 7.x版本不能自动连接mysql8，安排！！！ 1、将mysql8的驱动包mysql-connector-java-8.0.20.jar丢到kettle的lib目录下，重启spoon。 2、配置数据库连接，提示驱动类不对，没有正确使用我们的mysql8的驱动。如下 阅读全文
posted @ 2025-03-26 21:52
慕容尘轩
阅读(347)
评论(0)
推荐(0)
摘要：
Kettle（Pentaho Data Integration）作为一款功能强大的开源 ETL（Extract, Transform, Load，即数据抽取、转换和加载）工具，拥有众多版本，这让许多用户在选择时犯了难。 1、提出问题 经常有群友提出使用kettle版本的问题，如下图所示： 2、ket 阅读全文
posted @ 2025-03-23 20:39
慕容尘轩
阅读(842)
评论(1)
推荐(0)
摘要：
在国家大力倡导原创技术、推动信息技术应用创新（信创）的政策背景下，摆脱对国外技术的依赖、构建自主可控的信息技术体系成为重要发展方向。大数据作为信息技术的重要组成部分，国产大数据技术和产品迎来了前所未有的发展机遇。 信创旨在实现核心技术自主可控，保障国家信息安全，因此国产数据库、数据处理工具等大数据相 阅读全文
posted @ 2025-03-23 11:05
慕容尘轩
阅读(457)
评论(0)
推荐(0)
摘要：
场景：kettle本身可以直接链接rabbitmq，但是需要配置rabbitmq开启mqtt协议，本次讲解下自定义开发组件RabbitMQ consumer，无需开启mqtt协议即可使用。 1、docker 安装rabbitmq 1）下载镜像 docker pull rabbitmq 2）启动服务 阅读全文
posted @ 2025-03-23 11:02
慕容尘轩
阅读(210)
评论(0)
推荐(0)
摘要：
今天群里来了一位台湾同胞，没想到台湾同胞用的是繁体字，群里的小伙伴不淡定了，表示有些字看不懂。看不懂没关系，今天介绍的插件帮你解决这个问题。安排！！！ 1、老规矩 将插件kettle-plugin-pinyin放到kettle的plugins目录下，重启spoon客户端。 2、开始编写转换demo， 阅读全文
posted @ 2025-03-23 10:58
慕容尘轩
阅读(79)
评论(0)
推荐(0)
摘要：
场景：假如T日需要将a表中T-1日的数据同步到b表。由于某种业务需求a表中已经同步到b表中的数据发生了变化需要重新同步，这个时候就会用到插入更新插件，也就是 说a表中数据重新同步b表，若b表中存在此数据（根据唯一id）则执行更新操作，否则执行插入操作。 1、软硬件环境 本次教程基于本机docker版 阅读全文
posted @ 2025-03-05 21:03
慕容尘轩
阅读(432)
评论(0)
推荐(1)
浙公网安备 33010602011771号