会员
周边
新闻
博问
闪存
赞助商
YouClaw
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
genius
persist and you will get it
博客园
首页
新随笔
联系
订阅
管理
上一页
1
2
3
4
5
6
7
8
···
21
下一页
2025年8月24日
kettle从入门到精通 第106课 ETL之kettle Cache数据库单表6000万+数据轻松提取
摘要: 场景: 周四的时候群里一个小伙伴发出求助信息,大概意思是要从Cache(业内医疗同仁都知道东华的医疗系统有使用Cache数据库)单表中抽取数据到sqlserver数据库,该表数据量为6000万+,在使用kettle抽取的过程中总是遇到内存溢出的问题。 群友提供帮助信息:1、增大内存。2、分批处理。不
阅读全文
posted @ 2025-08-24 20:51 慕容尘轩
阅读(172)
评论(0)
推荐(0)
2025年8月23日
kettle从入门到精通 第105课 ETL之kettle 解决api接口无返回页数和记录数的分页问题
摘要: 场景: 今天下午小朋友和妈妈去游乐园玩了,一个人在家里也挺好,比较清净。学学习充充电,无意中看到赵总群里求助kettle分页问题。想着分页问题已经被我一网打尽了,不料实战时翻车了几次,搞了几次死循环直接内存溢出挂掉。接下来咱们一起来探索下。 1、API接口 接口入参数:token,page(当前页码
阅读全文
posted @ 2025-08-23 14:57 慕容尘轩
阅读(100)
评论(0)
推荐(0)
kettle插件-kettle RustFs插件,轻松解决文件上传到RustFs服务器
摘要: 场景: 前面咱们介绍了kettle的MinIO插件,现阶段国内各大公司都在搞新创,支持国产,在这里RustFS,就是MinIO国产信创平替方案,so 我们今天一起来学习下kettle的rustFs插件。 1、本地搭建RustFs服务器 拉取 rustfs/rustfs:latest镜像 docker
阅读全文
posted @ 2025-08-23 14:52 慕容尘轩
阅读(287)
评论(2)
推荐(0)
2025年8月22日
kettle插件-kettle python插件,python插件终于搞定了,有此插件可以称霸武林了,雄起
摘要: 场景:这款kettle的python插件从开始研究设计到客户生产使用,整个过程可以说非常不容易。 2025年7月17日23电25分文老师突然微信滴滴我询问是否可以做python插件,我当时也没有想到实现python插件的难度就直接答应下来,谁知做起来是相当于不容易,由于 团队老师是边工作边研究,整个
阅读全文
posted @ 2025-08-22 22:03 慕容尘轩
阅读(160)
评论(0)
推荐(0)
2025年8月13日
kettle插件-kettle http post plus插件失灵了?继续迭代优化轻松调用公卫高安全系数接口
摘要: 场景:一个朋友遇到调用公卫https接口时提示未上传证书问题寻求我们的帮助,本来想着有现有的插件可以吊打这个问题,谁知道瞬间啪啪打脸。 接下来咱们一起探个究竟。 1、经验主义 看到此问题,第一时间想到的是我们的http post plus插件,该插件可以忽略ssl校验,应该可以轻松解决这个https
阅读全文
posted @ 2025-08-13 10:05 慕容尘轩
阅读(70)
评论(0)
推荐(0)
2025年8月9日
kettle从入门到精通 第104课 ETL之kettle kettle调用python的四种方法
摘要: 场景: 有个小伙伴微信私我咨询是否可以针对kettle定制python插件,确切的说是python3插件。我们团队老师沟通后一致认为kettle的python插件还是很具有挑战性的。 虽然kettle的python插件比较有挑战,但是我相信最终肯定要搞定这款插件。之前的课程中有讲过kettle调用p
阅读全文
posted @ 2025-08-09 22:33 慕容尘轩
阅读(194)
评论(0)
推荐(0)
kettle插件-kettle MinIO插件,轻松解决文件上传到MinIO服务器
摘要: 场景:周二下班刚下地铁的时候有一位大佬,咨询kettle是否可以适配MinIO,功能要实现将图片或者base64通过kettle直接上传到MinIO服务器。 接到需求,沟通需求,开干。经过3天左右研发和调试MinIO插件已经成功交付,对方经常部署到生产环境。 1、本地搭建MinIO服务器 拉取 qu
阅读全文
posted @ 2025-08-09 22:33 慕容尘轩
阅读(135)
评论(0)
推荐(0)
2025年8月5日
kettle插件-kettle http post plus插件,轻松解决https post接口无法调用&文件流下载问题
摘要: 场景:小伙伴在使用kettle调用https post接口过程中无法正常调用,程序出错问题,今天演示下用自研插件轻松解决这个问题。 1、使用openssl 生成自签名证书 openssl req -x509 -newkey rsa:4096 -nodes -out cert.pem -keyout
阅读全文
posted @ 2025-08-05 11:42 慕容尘轩
阅读(205)
评论(0)
推荐(0)
2025年7月31日
kettle插件-kettle http client plus插件,轻松解决https接口无法调用&文件流下载问题
摘要: 场景:小伙伴在使用kettle调用https接口过程中无法正常调用,程序出错问题,今天演示下用自研插件轻松解决这个问题。 1、使用openssl 生成自签名证书 openssl req -x509 -newkey rsa:4096 -nodes -out cert.pem -keyout key.p
阅读全文
posted @ 2025-07-31 22:25 慕容尘轩
阅读(436)
评论(0)
推荐(0)
2025年7月24日
kettle插件-kettle数据挖掘ARFF插件
摘要: 今天我们一起来学习一款团队自研的数据挖掘插件arff-output,首先先介绍下arff文件的相关知识。 1、什么是ARFF ARFF(Attribute-Relation File Format)文件是一种专门用于数据挖掘工具Weka的数据格式。 ARFF文件主要由两部分组成:头部(Header)
阅读全文
posted @ 2025-07-24 13:58 慕容尘轩
阅读(35)
评论(0)
推荐(0)
上一页
1
2
3
4
5
6
7
8
···
21
下一页
公告