Kettle Spoon集成程序操作步骤

1.创建资源库KSPOON

--查看表空间的位置和物理文件
select TABLESPACE_NAME,FILE_ID,FILE_NAME,BYTES/(1024*1024)TOTAL_SPACE from dba_data_files;

--先查看DBF文件的位置

--创建表空间
CREATE TABLESPACE "KSPOON"
DATAFILE 'D:\SOFTWARE\ORACLE\ORADATA\ORCL\KSPOON01.DBF' SIZE 200 M AUTOEXTEND ON NEXT 200
--创建用户并分配表空间
CREATE USER "KSPOON" IDENTIFIED BY "123456" DEFAULT TABLESPACE "KSPOON";

GRANT "DBA" TO "KSPOON";

ALTER USER "KSPOON" DEFAULT ROLE "DBA"

2.用本地的spoon工具连接刚刚创建的库KSPOON,来真正创建资源库KSPOON

双击spoon.bat,若是之前本地有建资源库,先登录本地的资源库,用户名:admin  密码:admin ,之后点击登录的资源库或者Connect那里,选择Repository Manager 资源库管理

 

 

 

 

 

 

 

 

之后就是创建中,创建之后KSPOON库下就会生成很多表

 

3.然后进行kettle spoon 集成程序搭建

https://gitee.com/uxue/dataCollection#/uxue/dataCollection/blob/master/doc/QA.md

然后加压到自己的项目文件夹中,重命名为:dataCollection

用IDEA打开,将Maven仓库设置好,自动导入Auto import package

发现oracle包依赖版本爆红,版本有问题,删除oracle包依赖,将下面这两个依赖放进去

<dependency>
<groupId>com.oracle</groupId>
<artifactId>ojdbc6</artifactId>
<version>11.2.0.3</version>
</dependency>
<dependency>
<groupId>net.sourceforge.jtds</groupId>
<artifactId>jtds</artifactId>
<version>1.3.1</version>
</dependency>

备注:我是直接从同事那里要的代码,增加了一个sql server的包依赖jtds

之后修改配置文件

application.yml

 application-kettle.yml

 

 application-oracle.yml-指定资源库

 

 在启动之前需要运行这个项目中doc文件夹中的sql

 

 

 

再次检查yml配置文件,然后运行,运行成功后,浏览器访问http://localhost:7080/

 

 

 

 

 

 会报这个错,原因是填写的密码有可能错误 用户名:admin  密码:admin

 资源库连接成功了

 

然后选择

 

 需要spoon工具建一个测试转换来测试

 

然后新建定时策略

新建一个测试的任务分类   

 

 

 

 

 

 

点击任务监控查看执行成功次数

4.上面这些都是在本地运行,需要打包到服务器上,作为服务,spoon工具就可以随意关闭了,不影响任务的运行,之前在spoon工具中运行job,不能关闭spoon工具,现在使用程序运行转换或者job,程序控制,就实现后台运行转换

打包过程遇到UTF-8的问题,导致打包失败

Unexpected error reading step information from the repository
Invalid byte 1 of 1-byte UTF-8 sequence.

 

解决:本地再次运行程序,可以成功运行起来,然后将刚才在数据采集平台上的采集任务停止,并删除,就能重新打包成功,意思就是等部署到服务器上之后再把这个测试转换建采集任务运行

看到文档中有解决这个问题的方案是将File-Encoding中设置为UTF-8,我设置,但是打包的时候还是报错打包失败

 

 然后就按照我的另一个博客用nssm.exe部署jar 做成服务,启动

https://www.cnblogs.com/yr1126/p/15603350.html

 

 

然后访问这个程序http://IP:7080/

之后新建采集任务,添加转换,再启动,监控查看成功运行次数

还有就是将错误次数重新归为0,重新开始执行任务

 

 

 至此圆满结束!!!

 

 

 

 

 

posted on 2021-12-01 12:04  yr1126  阅读(682)  评论(0编辑  收藏  举报