摘要： 1、这里的集群实际上是数据分区或者分片的概念，如中国全国的学生，应该不会都存在一张表里面，有可能每个省市一个表进行存储。 2、集群（分区），如下图所示 设置在“集群”标签，勾选“使用集群”，然后定义两个分区。这里的分区实际指的是数据库实例，需要指定自定义的分区ID，数据库实例的主机名（IP）、端口、 阅读全文

摘要： 无论开发应用程序还是做ETL研发，都离不开连接池的应用，如下是kettle中mysql 连接池设置界面，今天重点讲解下连接池中的参数配置。 defaultAutoCommit 当 defaultAutoCommit 参数设置为 true 时，表示连接会自动提交每个单独的SQL语句，这意味着每个语句都 阅读全文

摘要： 1、我们平常用的最多的数据库就是mysql了，这里我以mysql为例说下数据库连接池配置。为啥要用连接池，因为数据库建立连接很费性能，所以就建立连接池（提前建立好一批连接）缓存起来提高性能。下图中mysql的设置参数，提前是需要把mysql的jar（如mysql-connector-java-8.0 阅读全文

摘要： 1、平常我们在用kettle设计job的时候，会用到循环来处理一些业务逻辑，比如循环检测某个表中的数据条数等。这个时候就会用到一个特别重要的步骤：检验字段的值。 下图是一个的通过初始化DNOE变量为false，等待3s之后更新DONE变量为true的一个循环demo。 2、设置变量步骤，可以从属性文 阅读全文

摘要： 1、前面我们一起学习了，很多转换的知识，转换为批量的开发做铺垫，今天我们一起来学习下kettle job的知识。 kettle job 常用的步骤如下图，有Start、转换、作业、成功等步骤。 2、下面是一个简单的批量设计图，用到了Start、转换、作业、成功四个步骤。 Start：可以设置执行策略 阅读全文

摘要： 1、我们平常在做数据同步的时候，担心转换或者job没有正常运行，需要加上监控机制，这个时候就会用到邮件功能。 下图是一个简单的测试邮件发送功能的转换。在kettle.properties文件中设置邮件参数，通过邮件步骤进行发送。 2、地址参数配置 步骤名称此步骤在转换工作区中显示的名称。目标地址电子 阅读全文

摘要： 1、前面文章有学习过Transformation executor ，但后来测试kettle性能的时候遇到了很大的问题，此步骤的处理性能太慢，导致内存溢出等问题。所以再次一起学习下此步骤的用法。 2、 如下图中rds-sametable-同步逻辑处理使用的是Transformation execut 阅读全文

摘要： 一、设置KETTLE_HOME环境变量 假设kettle软件目录为/xxx/data-integration vi ~/.bash_profile export KETTLE_HOME=/xxx/data-integration/config source ~/.bash_profile echo 阅读全文

摘要： 1、Could not emit buffer due to lack of requests（无法发出缓冲区，因为请求不足。） 原因有两点：1）消费者处理数据能力较弱，如表输出步骤。2）消费者没有处理数据，如传递的数据中有字段type=1的数据，这种情况没有处理。 解放方案：针对 1）采用多线程处 阅读全文

摘要： 在windows 上面 carte服务的canvas画布展示的中文正常，但是在linux上面中文展示乱码，如下所示： 原因：linux 机器缺少字体所致。 kettle源码中使用字体： 解决方法： 安装字体即可，无需重启机器，如果不生效，试着重启下carte服务，参考如下连接安装字体https:// 阅读全文