kettle 图形化界面操作job和transfom

安装

• 目录： ~/data-integration
• 启动：sh spoon.sh

概念

• 作业 job：
  • 作用： 对整个流程的控制
  • 文件后缀： .kjb
• 转换 Transformation
  • 作用： 对基础数的ETL
  • 文件后缀：.ktr

准备数据

drop table stu1;
create table stu1(id int,name varchar(20),age int);
drop table stu2;
create table stu2(id int,name varchar(20));
insert into stu1 values(1001,'Ding',20),(1002,'Bella',21),(1003,'Icey',22);
insert into stu2 values(1001,'Icey');

使用客户端新建一个 transfrom

• 前置
  • sh spoon.sh 等待几分钟启动稍微有点慢
  • 文件->转换(transfrom)->主对象树->DB连接-> 选择数据库类型-> 用户名密码->测试->浏览->确认
  • 注意！ 如果需要安装数据库驱动！放在安装目录 ~/data-integration/lib
    • mysql mysql-connector-java.jar
    • sql server jtds-1.3.1-java.jar
  • 点击DB链接->右键->共享
• 开始画布配置
  • 核心对象-> 输入-> 表输入-> 填写资料
    • 名字: test-input （随便取一个）
    • 连接： 下来选择刚刚填入的
    • sql ： selet * from stu1;
    • 测试 ->预览-> 预览
• 核心对象-> 输入-> 插入/更新
  • 按住 shit -> 鼠标连接到-> 输入到 插入/更新
• 添加 插入/更新 信息
  • 名字: test-output （随便取一个）
  • 连接： 下来选择刚刚填入的
  • 目标表 ： stu2
  • 用来查询的关键词-> 获取字段-> 右键可以添加或者删除
    • id = id
  • 更新字段-> 获取或者更新字段
    • id = id N
    • name = name Y
  • 确定
• 点击运行->保存为 test-tranform.ktr

### 使用客户端新建一个job

• 文件->作业(job)->主对象树->DB连接
• 开始画布配置
  • 核心对象-> 通用 -> start 、转换、Dummy
    • 双击转换 -> 选择-> test-tranform.ktr
  • 核心对象->脚本
    • SQL脚本 : insert into stu2 values (1004, 'Amy')
  • 按住 shit -> 鼠标连接到-> start 、转换、SQL脚本、Dummy
• 确定
• 点击运行->保存为 test-job.ktr