摘要:
1、设置变量 a、可以通过转换中的“设置变量”步骤进行设置。 b、手动通过kettle.properties文件或通过“编辑”菜单中的“设置环境变量”对话框来定义变量。kettle.properties文件的位置可以通过设置KETTLE_HOME来指定,如设置KETTLE_HOME 为/opt/ke 阅读全文
摘要:
1、我们在平常写应用程序的时候,需要主动捕获异常或者错误,不然程序有可能异常退出。同样kettle 也支持异常或者错误处理,下图展示的是在批量插入数据的时候捕获异常,如唯一健冲突,死锁等,并将错误信息保存到表里面,方便后续邮件预警和排查问题。 2、在需要异常处理的步骤上面右键,点击定义错误处理,如下 阅读全文
摘要:
1、之前第九章有讲过kettle 表输出步骤,里面有简单的提到过表输出步骤里面的表分区设置,这里详细介绍下。 表分区数据:选择此选项可根据“分区”字段中指定的日期字段的值将数据拆分到多个表中。选择此选项后,数据将插入到表中,这些表的名称遵循<target table>_<date format>模式 阅读全文
摘要:
1、这里的集群实际上是数据分区或者分片的概念,如中国全国的学生,应该不会都存在一张表里面,有可能每个省市一个表进行存储。 2、集群(分区),如下图所示 设置在“集群”标签,勾选“使用集群”,然后定义两个分区。这里的分区实际指的是数据库实例,需要指定自定义的分区ID,数据库实例的主机名(IP)、端口、 阅读全文
摘要:
无论开发应用程序还是做ETL研发,都离不开连接池的应用,如下是kettle中mysql 连接池设置界面,今天重点讲解下连接池中的参数配置。 defaultAutoCommit 当 defaultAutoCommit 参数设置为 true 时,表示连接会自动提交每个单独的SQL语句,这意味着每个语句都 阅读全文
摘要:
1、我们平常用的最多的数据库就是mysql了,这里我以mysql为例说下数据库连接池配置。为啥要用连接池,因为数据库建立连接很费性能,所以就建立连接池(提前建立好一批连接)缓存起来提高性能。下图中mysql的设置参数,提前是需要把mysql的jar(如mysql-connector-java-8.0 阅读全文
摘要:
1、平常我们在用kettle设计job的时候,会用到循环来处理一些业务逻辑,比如循环检测某个表中的数据条数等。这个时候就会用到一个特别重要的步骤:检验字段的值。 下图是一个的通过初始化DNOE变量为false,等待3s之后更新DONE变量为true的一个循环demo。 2、设置变量步骤,可以从属性文 阅读全文
摘要:
1、前面我们一起学习了,很多转换的知识,转换为批量的开发做铺垫,今天我们一起来学习下kettle job的知识。 kettle job 常用的步骤如下图,有Start、转换、作业、成功等步骤。 2、下面是一个简单的批量设计图,用到了Start、转换、作业、成功四个步骤。 Start:可以设置执行策略 阅读全文
摘要:
1、我们平常在做数据同步的时候,担心转换或者job没有正常运行,需要加上监控机制,这个时候就会用到邮件功能。 下图是一个简单的测试邮件发送功能的转换。在kettle.properties文件中设置邮件参数,通过邮件步骤进行发送。 2、地址参数配置 步骤名称此步骤在转换工作区中显示的名称。目标地址电子 阅读全文
摘要:
1、前面文章有学习过Transformation executor ,但后来测试kettle性能的时候遇到了很大的问题,此步骤的处理性能太慢,导致内存溢出等问题。所以再次一起学习下此步骤的用法。 2、 如下图中rds-sametable-同步逻辑处理使用的是Transformation execut 阅读全文