Kettle杂记

  1. Job:由Translation或SubJob组成的串行任务流,重在任务的逻辑编排,面向的是任务。
  2. Translation:由Step组成的并行数据流,面向的是数据行等原子数据单元,每个Step在独立的线程中执行【狭义的ETL描述的就是Translation过程】。
  3. Hop:是Step间的数据流缓冲管道,其读写控制为阻塞队列实现(空就阻塞读线程,满了就阻塞写线程)。
  4. ResourceRpository:是指用于存储通过可视化工具Spoon设计出的Job、Translation等对象的源文件的地方;可以是RDBMS、FS,方便对源文件集中化管理和多人协作;如果Spoon连接好了资源仓库后,后续的保存动作将把对象文件存储到仓库;同时仓库提供了树形的对象访问结构,非常方便协作、管理。
  5. 实践中,采用并发输出的方式,是实现高效抽取的最佳手段(可以通过增加输出步骤的副本数来实现)。
0.定时调度。
1.从配置文件读取数据,并作为jvm变量,在作业中传递。
2.手动定义jvm变量,并在作业中传递。
3.从db读取数据,并作为jvm变量,在作业中传递。
4.表输入
5.表删除
6.表输出
7.日志记录
8.
posted @ 2022-08-13 12:38  JaxYoun  阅读(36)  评论(0编辑  收藏  举报