---江北

摘要： 一、概述 kettle中3个重要的步骤： 子转换/映射 在转换里调用一个子转换，便于封装和重用。 集群 集群模式 变量和参数 变量和参数的用法 二、子转换 1.定义子转换 主要由映射输入与映射输出定义： 这里给出一个从kettle自带的samples中拿出来的示例，详情配置，参考kettle示例 保 阅读全文

摘要： 一、概述 查询步骤： 用来查询数据源里的数据并合并到主数据流中 。 连接步骤： 结果集通过关键字进行连接 。（与前面的UNION不同） 二、查询步骤 1.流查询 流查询示例：（注意上文中的流查询的限制） // 带有i的流向表示是信息流 2.数据库查询 数据库查询配置示例： 3.web查询 // 相关 阅读全文

摘要： 一、概述 流程主要用来控制数据流程与数据流向 应用则是提供一些工具类 二、流程步骤 1.ETL元数据注入 类似Java中的反射，在设计时不知道文件名、文件位置等，在真正执行时才知道具体的一些配置等信息 具体介绍后续补充，官方Wikia:https://wiki.pentaho.com/display 阅读全文

摘要： 一、概述 转换步骤分类： 1. 增加新的列 2. 字符串处理 3. 行列变换 4. 排序/排重/字段选择 5. 其他转换步骤 二、增加新的列 1.增加常量列 增加一列常量的列 其它增加列的操作大同小异，不一一赘述，只介绍计算器 2.计算器 可以进行数值运算、日期运算等... 更多计算类型的介绍，参见 阅读全文

摘要： 一、概述 数据库表： • 表输出 • 更新，删除，插入/更新 • 批量加载（mysql，oracle） • 数据同步 文件： • SQL 文件输出 • 文本文件输出 • XML 输出 • Excel Output/Excel Writer 其他（报表、应用） 二、数据库输出 1.表输出 使用SQL的 阅读全文

摘要： 一、输入步骤概述 输入步骤主要分为以下几类： • 生成记录/自定义常量 • 获取系统信息 • 表输入 • 文本文件输入 • XML 文件输入 • Json输入 • 其他输入步骤 二、生成记录和自定义常量 1.生成记录 由于生成记录每行都是一样的数据，所以便诞生了自定义常量数据来手工模拟数据 2.自定 阅读全文

摘要： 一、kettle资源库 资源库是用来保存转换任务的，用户通过图形界面创建的的转换任务可以保存在资源库中。 资源库可以使多用户共享转换任务，转换任务在资源库中是以文件夹形式分组管理的，用户可以自定义文件夹名称。 1.ketle资源库元数据 • 资源库 资源库包括文件资源库、数据库资源库 Kettle 阅读全文

摘要： 一、子程序功能和启动方式介绍 转换和作业： Kettle 的 Spoon 设计器用来设计转换（Transformation）和 作业（Job）。 •转换主要是针对数据的各种处理，一个转换里可以包含多个步骤（Step）。 •作业是比转换更高一级的处理流程，一个作业里包括多个作业项（Job Entry） 阅读全文

摘要： 一、文件读写 python的文件操作和C是兼容的 1.读文本文件 读文件操作如下： 其中"r"表示read，读文件，再使用read()方法就把文件内容读取出来了 和Java一样，操作文件需要close掉，并且强烈建议在finally中close，代码如下： 但是！Python这里又支持了with操作 阅读全文

摘要： 一、异常处理 1.try...except...finally... 这个也就是Java里的try...cath..finally...了，直接看经典代码： 处理结果和意料是一样的： 同样，可以并列捕捉多个异常：（此外在except后还可以接else:来处理没有异常） 当然，以上的异常都是继承自Ba 阅读全文