ETL工具Kettle使用备忘 数据集成平台
数据集成平台 ETL
数据迁移 、数据同步 工具
数据实时增量同步工具:CDC (Change Data Capture)变更数据获取
Flink CDC (非常活跃)apache
canal (仍在更新) alibaba
Kettle (仍在更新)
ETL
https://seatunnel.apache.org/zh-CN/ 国产的seatunnel
https://www.aliyun.com/product/cdp 阿里的数据集成
.Net开源的ETL,还没有使用,记录备忘
https://paillave.github.io/Etl.Net/
下载KettlePack:
https://www.congjing.net/h-col-139.html
下载
https://udomain.dl.sourceforge.net/project/pentaho/Pentaho-9.3/client-tools/pdi-ce-9.3.0.0-428.zip
excel整理
excel中sheet中有多个表格,必须整理到其他sheet,把整理好的sheet转换上传。
配置java home
【1】JAVA_HOME:刚刚Java安装的路径,我的是:C:\Program Files\Java\jdk1.8.0_231
【2】CLASSPATH:.;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar;
【3】配置环境变量Path
双击Path,点击新建,添加“%JAVA_HOME%\bin”;
再次点击新建,添加“%JAVA_HOME%\jre\bin”。
ETL工具——kettle安装教程
https://zhuanlan.zhihu.com/p/156906712
jdbc sql server驱动:jtds-1.3.1.jar sqljdbc42.jar
https://blog.csdn.net/qq_22310551/article/details/115163517
:: Kitchen.bat所在路径盘符
E:
:: Kitchen.bat所在目录? ? ?
cd E:\app\pdi-ce-9.3.0.0-428\data-integration
:: 作业(job)文件路径和日志文件路径
:: 执行kitchen执行job,并写入日志
kitchen /file:E:\kettltFile\job1.kjb /level:Base>>E:\kettltFile\test.log
轻量级
-
EasyLoader是一个轻量级的ETL工具,有基本的数据装载和转换功能。
- http://www.easyreport.net/
http://erwa.cn
二娃制作