05 2018 档案
摘要：一、概述 数据剖析和数据检验： 用于数据的检查、清洗 。 统计步骤： 提供数据采样和统计的功能 分区： 根据数据里某个字段的值，拆分成多个数据块。输出到不同的库表和文件中。 脚本： Javascript 基础 二、数据剖析和数据检验 1.数据剖析 分析原始数据的数据类型、长度、值域等，属于ETL的第
阅读全文
摘要：一、概述 kettle中3个重要的步骤： 子转换/映射 在转换里调用一个子转换，便于封装和重用。 集群 集群模式 变量和参数 变量和参数的用法 二、子转换 1.定义子转换 主要由映射输入与映射输出定义： 这里给出一个从kettle自带的samples中拿出来的示例，详情配置，参考kettle示例 保
阅读全文
摘要：一、概述 查询步骤： 用来查询数据源里的数据并合并到主数据流中 。 连接步骤： 结果集通过关键字进行连接 。（与前面的UNION不同） 二、查询步骤 1.流查询 流查询示例：（注意上文中的流查询的限制） // 带有i的流向表示是信息流 2.数据库查询 数据库查询配置示例： 3.web查询 // 相关
阅读全文
摘要：一、概述 流程主要用来控制数据流程与数据流向 应用则是提供一些工具类 二、流程步骤 1.ETL元数据注入 类似Java中的反射，在设计时不知道文件名、文件位置等，在真正执行时才知道具体的一些配置等信息 具体介绍后续补充，官方Wikia:https://wiki.pentaho.com/display
阅读全文
摘要：一、概述 转换步骤分类： 1. 增加新的列 2. 字符串处理 3. 行列变换 4. 排序/排重/字段选择 5. 其他转换步骤 二、增加新的列 1.增加常量列 增加一列常量的列 其它增加列的操作大同小异，不一一赘述，只介绍计算器 2.计算器 可以进行数值运算、日期运算等... 更多计算类型的介绍，参见
阅读全文
摘要：一、概述 数据库表： • 表输出 • 更新，删除，插入/更新 • 批量加载（mysql，oracle） • 数据同步 文件： • SQL 文件输出 • 文本文件输出 • XML 输出 • Excel Output/Excel Writer 其他（报表、应用） 二、数据库输出 1.表输出 使用SQL的
阅读全文
摘要：一、输入步骤概述 输入步骤主要分为以下几类： • 生成记录/自定义常量 • 获取系统信息 • 表输入 • 文本文件输入 • XML 文件输入 • Json输入 • 其他输入步骤 二、生成记录和自定义常量 1.生成记录 由于生成记录每行都是一样的数据，所以便诞生了自定义常量数据来手工模拟数据 2.自定
阅读全文
摘要：一、kettle资源库 资源库是用来保存转换任务的，用户通过图形界面创建的的转换任务可以保存在资源库中。 资源库可以使多用户共享转换任务，转换任务在资源库中是以文件夹形式分组管理的，用户可以自定义文件夹名称。 1.ketle资源库元数据 • 资源库 资源库包括文件资源库、数据库资源库 Kettle
阅读全文
摘要：一、子程序功能和启动方式介绍 转换和作业： Kettle 的 Spoon 设计器用来设计转换（Transformation）和 作业（Job）。 •转换主要是针对数据的各种处理，一个转换里可以包含多个步骤（Step）。 •作业是比转换更高一级的处理流程，一个作业里包括多个作业项（Job Entry）
阅读全文
