随笔分类 - kettle
摘要：这是一篇几年前写下的文档，最近打算根据这篇文档重写一下kettle插件的教程。结果各种理由，一推再推。今天索性将这篇文档发布出来，分享给大家，例子等有空再补上。这是一篇基于kettle3.2基础上完成的kettle插件文档。然而现在最新版的kettle的界面已经完全变了样了，但是那些组件还是那么...
阅读全文
摘要：在使用kettle进行数据分析和清洗时日志非常多而且杂乱，使用原有的日志有时找不到异常的位置，有时日志不够详细，说简单一点就是日志不是我们想要的。因而对kettle日志进行相应的管理就想得尤为重要了。大家都知道java最常用的日志管理包log4j可以很好地实现java日志的管理，然而kettle...
阅读全文
摘要：本文转自：http://blog.csdn.net/dqswuyundong/article/details/5952009Kettle集群Kettle是一款开源的ETL工具，以其高效和可扩展性而闻名于业内。其高效的一个重要原因就是其多线程和集群功能。Kettle的多线程采用的是一种流水线并发的机制...
阅读全文
摘要：kettle job中的JavaScript如何获取同一个job中SQL步骤的执行语句并让执行语句记录在日志中呢？首先写日志需要用到job中JavaScript写日志的方法，其次是利用java反射机制获取执行的sql。如：var sqlObj = getJobStep("SQL");var sql ...
阅读全文
摘要：任何一种编程语言都少不了循环，kettle中的job也一样。那么kettle中的job是怎么通过JavaScript来达到类似于编程语言中的for循环呢？var max = parent_job.getVariable("MAXCOUNT");var current = parent_job.get...
阅读全文
摘要：在kettle作业中JavaScript脚本有时候也扮演非常重要的角色，此时我们希望有一些日志记录。下面是job中JavaScript记录日志的方式。job的js写日志的方法。得到日志输出实例org.pentaho.di.core.logging.LogWriter.getInstance();按照...
阅读全文
摘要：日常开发中由于很多参数是变化的，需要在部署时才能确定。而写在配置文件里又显得很笨重，因而可以运行时实时指定。那么kettle是怎么获取命令行中的参数的呢？kettle可以通过转换里的JavaScript获取变量_step_.getTransMeta().getArguments()[0];
阅读全文
摘要：日常开发中，时常会出现这样一种情况。有大量的函数是通用的。而每个JavaScript里面写一遍，给维护带来很大的困扰。因而需要将公共的函数写在外部js文件中。这时就需要引入外部的公共文件了。下面是在转换里的JavaScript组件中引入外部公共js文件。//加载js文件LoadScriptFile(...
阅读全文
摘要：日常开发中，为了确保账号和密码的安全，时常要对密码进行加密和解密。然而kettle是怎么对密码进行加密和解密的呢？下面的代码需要再转换中的JavaScript中运行。var encrypted_password = 'not encrypted';加密（js中调用）：encrypted_passwo...
阅读全文
摘要：在日常开发中有时候配置文件会出现中文（如config.properties 里有中文），为了避免出现乱码，因而要转成unicode编码。1、在设置变量的javascript（转换中的JavaScript）中进行编码转换。（推荐使用此方式）if(!Value.isNull()){ var valu...
阅读全文
摘要：本文转载自：http://blog.csdn.net/dqswuyundong/archive/2010/10/19/5952004.aspx设置kettle的内存REM ****************************************************************...
阅读全文
摘要：pan 是执行转换的。Pan.bat /file C:\test.ktr /logfile c:\log.txt /level Basickitchen是执行job的。kitchen.bat /file C:\test.kjb /logfile c:\log.txt /level Basic更多资料...
阅读全文
摘要：kettle与各数据库建立链接的链接字符串Sybase：TO_DB_URL = jdbc:sybase:Tds:192.168.168.163:5000/testdb?charset=eucgb&jconnect_version=6TO_DB_DRIVER = com.sybase.jdbc3.jd...
阅读全文
