随笔分类 -  Kettle

kettle的入门教学级别的系列,及自己在学习的过程中所探索的过程和需要注意的事项
摘要:如给www.baidu.com/id=生活进行编码为 增加JavaScript控件,增加如下代码即可: var url='www.baidu.com/id=生活'var url2=encodeURI(url) 参考网址:https://stackoverflow.com/questions/3328 阅读全文
posted @ 2018-07-08 11:38 Wind_LPH 阅读(745) 评论(0) 推荐(0) 编辑
摘要:简单对比一下这两个控件的功能和SQL脚本的功能差异,比较简单,相对有点难度的就是sql及过程调用 kettle两个sql脚本控件也是为了执行kettle,但是只限于等值sql,就是不能够出现像sql语句中的LIKE ‘%aa%'这种(经过多次测试,目前不支持) 解决办法,创建存储过程,通过执行脚本控 阅读全文
posted @ 2017-12-02 17:11 Wind_LPH 阅读(20029) 评论(0) 推荐(0) 编辑
摘要:关于工具控件只简单记录一下以下几个控件。clone row,判断值是否为空,延迟,写日志和发邮件。 1、生成记录,看下面,字段testcol1和testcol2为string类型,值为空。 2、clone row设置如下,其中Nr clone in fidld? (在Nr clones下面)和Nr 阅读全文
posted @ 2017-12-02 13:32 Wind_LPH 阅读(766) 评论(0) 推荐(0) 编辑
摘要:1、Blocking Setp ,作用是只有在该控件前面所有步骤执行完毕后才会执行该控件后面的步骤 2、Abort,设置一个失败阈值,当大于失败阈值的时候就会停止整个流程。 阅读全文
posted @ 2017-11-30 23:08 Wind_LPH 阅读(1698) 评论(0) 推荐(0) 编辑
摘要:1、Data Grid输入 2、Switch/Case控件设置,根据不同的条件指向不同的步骤节点 3、Wirte to log 2是上一部的操作,根据数据处理结果,默认操作应该输出的是uk,看结果 4、当flag为jp的时候,是空操作,空操作不需要设置什么,像图中直接引用就行 5、过滤记录,过滤操作 阅读全文
posted @ 2017-11-30 23:02 Wind_LPH 阅读(1875) 评论(0) 推荐(0) 编辑
摘要:行扁平化,多行记录只有一个字段不同时,将不同字段转变为列。如下,最后解释一下原理及设计不足之处。 第一种情况,数据特点,flag为a的有两行,flag为b的有三行 行扁平化设置,扁平化后的目标字段,输入流中Grid Data 中flag为b的有三个:1,2,3,所以我们在这里也需要设计三列 看最后e 阅读全文
posted @ 2017-11-30 21:36 Wind_LPH 阅读(4844) 评论(0) 推荐(1) 编辑
摘要:两个控件,去除重复记录,Unique Rows(HashSet),以及字段选择,如下 1、去除重复记录,要求按照去除重复列进行排序才行 Data GRid 输入信息,按照如下,及去除重复记录的要求,按照flag去除重复记录,只会有四条记录 去除重复记录设置, 结果输出,只输出了四行 2、Unique 阅读全文
posted @ 2017-11-29 23:41 Wind_LPH 阅读(21712) 评论(3) 推荐(0) 编辑
摘要:1、Row Normaliser,将一行多列数据转换为多行一列数据。 输入数据流: 计算器配置如下: 与计算器相连接的excel输出如下: Row Normaliser,设置如下, 与Row Normaliser连接的Excel输入如下 2、Split field to rows 字段拆分,一个单元 阅读全文
posted @ 2017-11-29 23:08 Wind_LPH 阅读(14660) 评论(0) 推荐(0) 编辑
摘要:1、值映射,只支持简单的映射关系,不支持数据库表之间的映射 2、Replace in String:替换字段里的值 Data Grid 中数据 Replace in String 设置如下 结果如下; 3、Set field value 和 Set field value to a constant 阅读全文
posted @ 2017-11-28 22:59 Wind_LPH 阅读(488) 评论(0) 推荐(0) 编辑
该文被密码保护。
posted @ 2017-11-27 23:48 Wind_LPH 阅读(7) 评论(0) 推荐(0) 编辑
摘要:表输出控件如下 1)步骤名称, 2)数据库连接,前面有过部分解释 3)目标模式,数据库中的概念,引用:https://www.cnblogs.com/csniper/p/5509620.html(感谢) 4)目标表:数据库中的表,这里有两种方式: (1) 应用数据库中已经存在的表,浏览表选中对应表即 阅读全文
posted @ 2017-11-27 22:25 Wind_LPH 阅读(35545) 评论(0) 推荐(1) 编辑
摘要:xml input stream操作比较简单,主要配合过滤、行转列才能更好的达到药效。 1)XML Input Stream(STAX)控件,重点是根据得到的各字段信息梳理出一个行专列的思路,观察得到的规律,下面是常用的字段,及行专列思路 2)过滤控件,根据上面得到的规律,用下面的过滤条件就可以达到 阅读全文
posted @ 2017-11-26 18:14 Wind_LPH 阅读(3004) 评论(0) 推荐(0) 编辑
摘要:文本文件有文件、内容、错误处理、过滤、字段和Additional output fields等几个页签,主要说一下内容和过滤两个页签。 内容,如下 1)文件类型,保持默认csv即可 2)分隔符:指的是文本文件每个字段间的分区标志,如下 不可见分隔符的输入方法:$[01] 3)文本限定符:当文本字段中 阅读全文
posted @ 2017-11-26 15:37 Wind_LPH 阅读(12065) 评论(0) 推荐(0) 编辑
摘要:静态XML输入流——get data from xml 1、输入流各选项含义,引用自 https://wiki.pentaho.com/display/EAI/Get+Data+From+XML,token在最后面 Filed Tab 这一部分和excel输入流差不多,不再详细解释 1、从前面输入得 阅读全文
posted @ 2017-11-26 01:45 Wind_LPH 阅读(15514) 评论(0) 推荐(1) 编辑
摘要:1、表输入,允许简易转换:大字段的延迟转换(延迟转换性能更高,采用byte方式处理,否则就是string方式) 替换sql语句里的变量:job作业中的变量替换为语句中的变量 2、变量的引用 引用形式: SELECT id, name FROM zdy_test where id=${i} 变量在jo 阅读全文
posted @ 2017-11-23 23:29 Wind_LPH 阅读(27176) 评论(0) 推荐(0) 编辑
摘要:1、Sql Server的 数据库链接 Sql server链接有两类,MS SQL SERVER 和 MS SQL SERVER(NATIVE),这两个有什么区别呢,且看下面。 第一类,MS SQL SERVER 链接,填写好信息后,进行测试,报错。 接下来,我们点开特征列表查看一下: 第二类,使 阅读全文
posted @ 2017-11-22 21:39 Wind_LPH 阅读(23071) 评论(0) 推荐(0) 编辑
摘要:1、链接sql server数据库报错 错误连接数据库 [My_vm_win_sql] : org.pentaho.di.core.exception.KettleDatabaseException: Error occurred while trying to connect to the dat 阅读全文
posted @ 2017-11-21 23:57 Wind_LPH 阅读(14682) 评论(0) 推荐(2) 编辑
摘要:kettle部署需要有jdk环境,所以需要配置环境变量。 1、首先配置jdk,将jdk压缩包解压到c盘下 增加系统变量:JAVA_HOME:c:\jdk 在path后追加: %JAVA_HOME%\bin;%JAVA_HOME%\jre\bin; 增加CLASSPATH变量:%JAVA_HOME%\ 阅读全文
posted @ 2016-06-02 21:16 Wind_LPH 阅读(1770) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示