kettle之下载与安装,并集成到springboot里,实现oracle数据库对接

简单记录一下springboot引用kettle对接数据

第一步(这一步讲述了下载kettle、创建数据库连接、转换等,如果这一步会的可以略过,直接看第二步)

先从kettle官网下载kettle,官网地址:https://sourceforge.net/projects/pentaho/

进入官网后点击files,选择需要的版本进行下载

 

 

 下载完成后是一个压缩包,免安装的,选择一个路径,将压缩包解压,解压后进入到data-integration目录,该目录下有一个Spoon.bat文件,双击即可运行

 

 

 打开后界面是这样的

 

 

 然后选择依次点击文件->新建->转换就可以编辑对接数据的逻辑了

 

 

 在编辑对接程序之前,是需要先设置一下数据库信息的,在这里说明一下,新解压的kettle没有oracle的驱动,需要手动的下载一个ojdbc的jar包放到\data-integration\lib目录下,否则测试连接的时候会报错(以oracle的为例,如果是其他数据库请忽略这一步,直接看下边)

 放好以后,需要关掉kettle重启一下才行,我这里放的是ojdbc7,至于其他类型的数据库我还没有测试,不知道是不是也会出现这种情况,如果也出现这种情况的话,就下载一个相对应的驱动,放到data-integration\lib目录下就行

接下来就是在新建的转换当中选择工具->向导->创建数据库连接向导(这一步可以将要读取的数据库和要写入的数据库都配置好,这样在编写对接逻辑的时候就不用在返回来重做这一步了)

 

 

 根据向导,选择要读取的数据库或者写入的数据库类型,给连接起个名字,点击next

 

 

 然后是配置数据库信息,服务器主机名称就是ip地址,tcp/ip端口就是数据库的端口,例如oracle的就是1521,数据库名称就是数据库的连接符,例如oracle的orcl,填好后继续点击next

 

 

 然后会出现让选择数据表空间和索引表空间的步骤,这一步可以选择不填,继续点击next,就到了最后一步,在这里填入数据库的账号密码,点击测试数据库连接

 如果创建好数据库连接,想要全局使用的话,还得有一步设置,如果不设置的话,每新建一个转换,就得重复的创建数据库连接

创建好数据库连接后依次点击左侧窗口的主对象树->转换->test(新创建的转换)->DB连接,然后右键创建好的数据库连接,点击共享即可

 

 

 编辑好数据库后,接下来就是编辑对接逻辑了,这里就先简单的写个步骤,复杂的需要自己慢慢体会

首先在窗口的左侧核心对象下,从输入标签中找到表输入,双击或者拖拽都行,拖拽的话是往右侧转换里拖拽,这个表输入就是要读取的数据,然后关闭输入标签,或者向下滑动,找到输出标签,从输出标签中找到插入/更新,同样以双击或拖拽的方式加入到转换里,这个是要写入的数据,然后按住shift键,先点击表输入,再点击插入/更新,这样这个节点就创建好了

 

 创建好节点连接后,就需要编辑表输入和插入/更新了,表输入就是要读取的数据,插入/更新就是要写入的数据,双击表输入

 

 双击更新/插入

 

 当这两个编辑好后,保存一下,就会生成一个ktr文件。

至此,在可视化界面中创建ktr文件的步骤就完成了

 第二步,将生成的ktr文件集成到springboot里面

首先需要注意的是,相关依赖一定要引用全了,不然运行时会出现很多异常,我就是这样,公司同时给的代码,在他那里可以运行,到我这里以后就各种异常往外报,耗费一天的时间,终于可以进行数据对接了,下面记录一下需要引入的依赖

复制代码
<!--kettle相关依赖-->
        <dependency>
            <groupId>pentaho-kettle</groupId>
            <artifactId>kettle-core</artifactId>
            <version>9.0.0.3-582</version>
        </dependency>
        <dependency>
            <groupId>pentaho-kettle</groupId>
            <artifactId>kettle-engine</artifactId>
            <version>9.0.0.3-582</version>
        </dependency>
        <dependency>
            <groupId>pentaho-kettle</groupId>
            <artifactId>kettle-dbdialog</artifactId>
            <version>9.0.0.3-582</version>
        </dependency>
<!--以上三个是最主要的依赖,相关jar包可以从kettle官网下载的下来的工具里面找,
具体路径是:\kettle\data-integration\lib\下面,版本就对应上下载的工具版本就行,
下面的是其他一些相关引用
--> <dependency> <groupId>com.google.guava</groupId> <artifactId>guava</artifactId> <version>29.0-jre</version> </dependency> <dependency> <groupId>pentaho</groupId> <artifactId>metastore</artifactId> <version>9.1.0.6-517</version> </dependency> <dependency> <groupId>org.apache.commons</groupId> <artifactId>commons-vfs2</artifactId> <version>2.9.0</version> </dependency> <dependency> <groupId>org.apache.commons</groupId> <artifactId>commons-lang</artifactId> <version>2.6</version> </dependency> <dependency> <groupId>commons-io</groupId> <artifactId>commons-io</artifactId> <version>2.5</version> </dependency> <dependency> <groupId>commons-codec</groupId> <artifactId>commons-codec</artifactId> <version>1.9</version> </dependency>
<!--kettle相关依赖-->
复制代码
如果kettle中有用到java代码组件,则需要加上下面的依赖,否则程序执行时,会报找不到文件的错误
<dependency>
<groupId>org.codehaus.janino</groupId>
<artifactId>janino</artifactId>
<version>3.0.8</version>
</dependency>

 

至于对接的代码就比较简单了,网上到处都有,这里我也记录一下吧,我这里是用的线程池的方式,同步执行ktr文件

复制代码
public void runKtr(String name) {
        ExecutorService executorService = Executors.newFixedThreadPool(20);
        logger.info("==========" + name + "对接程序开始执行========" + LocalDateTime.now());
        //获取项目的部署路径
        String url = env.getProperty("kettle-path") + name + "/";
//        String url = "D:\\work\\Idea\\workspace\\yitihua\\kettle-ktr\\five-minutes";
        System.out.println(url);
        //将部署路径的上一级实例化成File
        File file = new File(url);
        System.out.println(file + "*************");
        if (file.exists()) {
            String lastUrl = file.getPath() + "/";
            String[] list = file.list();
            if (list.length > 0) {
                for (String fileName : list) {
                    System.out.println(lastUrl + fileName);
                    executorService.execute(new KettleThread(lastUrl + fileName));
                }
            }
            //关闭线程池
            executorService.shutdown();
        } else {
            logger.info("该路径" + url + "不是一个真实的路径,请核实");
        }
    }
复制代码
复制代码
import org.pentaho.di.core.KettleEnvironment;
import org.pentaho.di.core.logging.LogLevel;
import org.pentaho.di.trans.Trans;
import org.pentaho.di.trans.TransMeta;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

import java.io.FileInputStream;
import java.io.InputStream;
import java.util.Date;

public class KettleThread implements Runnable {

    private Logger logger = LoggerFactory.getLogger(this.getClass());

    private String fileName;

    public KettleThread() {
    }

    public KettleThread(String fileName) {
        this.fileName = fileName;
    }

    @Override
    public void run() {
        logger.info("--------------【数据对接】" + fileName + "开始执行----------------" + new Date());
        try {
            //第三方插件引用
       //本地测试用这个 // String path = Thread.currentThread().getContextClassLoader().getResource("").getPath() + "/plugins/"; //windows环境上用这个 // String path = "D:\\test\\kettle-plugins"; //Linux环境上用这个 String path = "/data/kettle-task/kettle-plugins"; System.out.println(path); // String path = "kettle-plugins/pentaho-gis-plugins"; System.setProperty("KETTLE_PLUGIN_BASE_FOLDERS", path); KettleEnvironment.init(); // 加载文件 InputStream url = new FileInputStream(fileName); TransMeta transMeta = new TransMeta(url,null,true,null,null); transMeta.setLogLevel(LogLevel.DEBUG); //如果ktr文件内有需要参数的,可以将ktr文件的命名中包含variable,然后走下边的方法,设置变量,这样转换就能取到变量值了 if(fileName.contains("variable")){ transMeta.setVariable("test", "help"); } Trans trans = new Trans(transMeta); trans.prepareExecution(null); trans.startThreads(); trans.waitUntilFinished(); } catch (Exception e) { // TODO: handle exception e.printStackTrace(); logger.error(fileName + "转换异常", e); } logger.info("--------------【数据对接】" + fileName + "结束执行----------------" + new Date()); } }
复制代码

 

 

 

 总结:其实kettle集成到springboot里面没有多少代码,这个功能最主要的还是ktr文件的编写,只要ktr编写好了,放到指定文件夹下,写个定时任务就完事了,如果以上内容有什么不对的地方,还望各路大神指出,我加以修正

posted @   那、就这样吧  阅读(3387)  评论(0编辑  收藏  举报
努力加载评论中...
点击右上角即可分享
微信分享提示