摘要： 1、设置变量 a、可以通过转换中的“设置变量”步骤进行设置。 b、手动通过kettle.properties文件或通过“编辑”菜单中的“设置环境变量”对话框来定义变量。kettle.properties文件的位置可以通过设置KETTLE_HOME来指定，如设置KETTLE_HOME 为/opt/ke 阅读全文

摘要： 1、我们在平常写应用程序的时候，需要主动捕获异常或者错误，不然程序有可能异常退出。同样kettle 也支持异常或者错误处理，下图展示的是在批量插入数据的时候捕获异常，如唯一健冲突，死锁等，并将错误信息保存到表里面，方便后续邮件预警和排查问题。 2、在需要异常处理的步骤上面右键，点击定义错误处理，如下 阅读全文

摘要： 1、之前第九章有讲过kettle 表输出步骤，里面有简单的提到过表输出步骤里面的表分区设置，这里详细介绍下。 表分区数据：选择此选项可根据“分区”字段中指定的日期字段的值将数据拆分到多个表中。选择此选项后，数据将插入到表中，这些表的名称遵循<target table>_<date format>模式 阅读全文

摘要： 1、这里的集群实际上是数据分区或者分片的概念，如中国全国的学生，应该不会都存在一张表里面，有可能每个省市一个表进行存储。 2、集群（分区），如下图所示 设置在“集群”标签，勾选“使用集群”，然后定义两个分区。这里的分区实际指的是数据库实例，需要指定自定义的分区ID，数据库实例的主机名（IP）、端口、 阅读全文

摘要： 无论开发应用程序还是做ETL研发，都离不开连接池的应用，如下是kettle中mysql 连接池设置界面，今天重点讲解下连接池中的参数配置。 defaultAutoCommit 当 defaultAutoCommit 参数设置为 true 时，表示连接会自动提交每个单独的SQL语句，这意味着每个语句都 阅读全文

摘要： 1、我们平常用的最多的数据库就是mysql了，这里我以mysql为例说下数据库连接池配置。为啥要用连接池，因为数据库建立连接很费性能，所以就建立连接池（提前建立好一批连接）缓存起来提高性能。下图中mysql的设置参数，提前是需要把mysql的jar（如mysql-connector-java-8.0 阅读全文

摘要： 1、平常我们在用kettle设计job的时候，会用到循环来处理一些业务逻辑，比如循环检测某个表中的数据条数等。这个时候就会用到一个特别重要的步骤：检验字段的值。 下图是一个的通过初始化DNOE变量为false，等待3s之后更新DONE变量为true的一个循环demo。 2、设置变量步骤，可以从属性文 阅读全文

摘要： 1、前面我们一起学习了，很多转换的知识，转换为批量的开发做铺垫，今天我们一起来学习下kettle job的知识。 kettle job 常用的步骤如下图，有Start、转换、作业、成功等步骤。 2、下面是一个简单的批量设计图，用到了Start、转换、作业、成功四个步骤。 Start：可以设置执行策略 阅读全文

摘要： 1、我们平常在做数据同步的时候，担心转换或者job没有正常运行，需要加上监控机制，这个时候就会用到邮件功能。 下图是一个简单的测试邮件发送功能的转换。在kettle.properties文件中设置邮件参数，通过邮件步骤进行发送。 2、地址参数配置 步骤名称此步骤在转换工作区中显示的名称。目标地址电子 阅读全文

摘要： 1、前面文章有学习过Transformation executor ，但后来测试kettle性能的时候遇到了很大的问题，此步骤的处理性能太慢，导致内存溢出等问题。所以再次一起学习下此步骤的用法。 2、 如下图中rds-sametable-同步逻辑处理使用的是Transformation execut 阅读全文