ETL工具Kettle使用备忘 数据集成平台

数据集成平台  ETL

 数据迁移 、数据同步 工具

数据实时增量同步工具:CDC (Change Data Capture)变更数据获取 

Flink CDC  (非常活跃)apache

canal   (仍在更新)  alibaba

Kettle  (仍在更新)

ETL

 

https://seatunnel.apache.org/zh-CN/  国产的seatunnel

https://www.aliyun.com/product/cdp   阿里的数据集成

 

 

 

 

 

.Net开源的ETL,还没有使用,记录备忘

 https://paillave.github.io/Etl.Net/

 

 下载KettlePack:

https://www.congjing.net/h-col-139.html

下载

 

https://sourceforge.net/projects/pentaho/files/Pentaho-9.3/client-tools/pdi-ce-9.3.0.0-428.zip/download

 https://udomain.dl.sourceforge.net/project/pentaho/Pentaho-9.3/client-tools/pdi-ce-9.3.0.0-428.zip

 

 

excel整理

excel中sheet中有多个表格,必须整理到其他sheet,把整理好的sheet转换上传。

 

 

 配置java home

【1】JAVA_HOME:刚刚Java安装的路径,我的是:C:\Program Files\Java\jdk1.8.0_231

【2】CLASSPATH:.;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar;

【3】配置环境变量Path

双击Path,点击新建,添加“%JAVA_HOME%\bin”;

再次点击新建,添加“%JAVA_HOME%\jre\bin”。

 

ETL工具——kettle安装教程

 https://zhuanlan.zhihu.com/p/156906712

 

 

 

 jdbc sql server驱动:jtds-1.3.1.jar    sqljdbc42.jar

 

https://blog.csdn.net/qq_22310551/article/details/115163517

:: Kitchen.bat所在路径盘符
E:
:: Kitchen.bat所在目录? ? ?
cd E:\app\pdi-ce-9.3.0.0-428\data-integration

:: 作业(job)文件路径和日志文件路径
:: 执行kitchen执行job,并写入日志
kitchen /file:E:\kettltFile\job1.kjb /level:Base>>E:\kettltFile\test.log

 

 

 

 

 

 

轻量级

 

http://erwa.cn 

二娃制作

 

posted @ 2023-05-13 14:50  二娃网  阅读(200)  评论(0编辑  收藏  举报
www.erwa.cn 二娃备忘