kettle学习笔记（二）——kettle基本使用

一、子程序功能和启动方式介绍

 

Spoon.bat: 图形界面方式启动作业和转换设计器。
Pan.bat: 命令行方式执行转换。
Kitchen.bat: 命令行方式执行作业。
Carte.bat: 启动web服务，用于 Kettle 的远程运行或集群运行。
Encr.bat: 密码加密

　　转换和作业：

Kettle 的 Spoon 设计器用来设计转换（Transformation）和 作业（Job）。

　　•转换主要是针对数据的各种处理，一个转换里可以包含多个步骤（Step）。

　　•作业是比转换更高一级的处理流程，一个作业里包括多个作业项（Job Entry），一个作业项代表了一项工作，转换也是一个作业项。

二、第一个转换——hello world

　　1.运行Spoon.bat，打开图形设计界面

　　　　// 首次运行，可能出现较长等待时间

　　

　　2.通过导航栏：文件-新建-转换，新建一个转换

　　

　　3.在左边选择输入

　　　　这里以简单的生成随机数为输入

　　

　　双击节点进行配置：

　　　

　　　4.同理选择输出

　　　　这里选择最简单的文本输出

　　　　

　　　　选中输入节点，按住shift键，通过鼠标左键进行节点连接！

　　5.运行转换

　　

　　运行之前保存转换：

　　

　　查看执行结果：

　　

　　桌面上可以查看转换的结果文件：

　　

　　6.预览

　　　　比如上面的例子，如果只是想看一下随机数是否正确正常，不想再另外配一个文本输出来查看结果，可以删除输出节点，使用预览：

　　

　　点击快速启动，即可查看结果：

　　

　　7.添加转换过程

　　　　这里添加一个最常用的字段选择，通过节点连接后，点击获取字段可以选择所有，然后在字段列表进行选择：

　　　　

　　　　通过删除选中行（DEL键），过滤指定的字段，预览即可查看转换的结果：

　　

　　8.改变并发数

　　　　例如上面的生成随机数，如果想生成多个而不只是一行，可以在生成随机数节点上右键->改变开始复制的数量，节点上即会对应进行显示：

　　

　　9.流程操作

　　　　除了转换，还有一些比较常用的流程操作：

　　

　　这里以常用的记录过滤与空操作举例（空操作视为垃圾箱，用于丢弃不要的过滤结果等）

　　这里对结果进行不同方向的处理：过滤为True的放入文本文件，为False的丢弃：

　　

　　配置过滤的节点：主要配置字段的过滤条件（文本文件节点和前文一样配置）

　　

　　保存并启动转换，转换结果不再赘述。

　　10.计算器案例操作

　　　　例如进行一些字段与字段之间的计算或者字段的计算等操作

　　　　可以通过搜索找到计算器节点（或者在转换下找），配置如下：

　　

　　11.连接案例

　　　　在输入中选择两个自定义常量数据，这个一般用于自己编造测试数据，在连接中选择记录集连接：

　　

　　　　配置自定义常量数据：分别在元数据中配置字段定义信息，在数据中写入测试数据：

　　　　

　　　　配置记录集：

　　　　

　　　　预览可查看结果：