摘要： 1、我们平常用的最多的数据库就是mysql了，这里我以mysql为例说下数据库连接池配置。为啥要用连接池，因为数据库建立连接很费性能，所以就建立连接池（提前建立好一批连接）缓存起来提高性能。下图中mysql的设置参数，提前是需要把mysql的jar（如mysql-connector-java-8.0 阅读全文

摘要： 1、平常我们在用kettle设计job的时候，会用到循环来处理一些业务逻辑，比如循环检测某个表中的数据条数等。这个时候就会用到一个特别重要的步骤：检验字段的值。 下图是一个的通过初始化DNOE变量为false，等待3s之后更新DONE变量为true的一个循环demo。 2、设置变量步骤，可以从属性文 阅读全文

摘要： 1、前面我们一起学习了，很多转换的知识，转换为批量的开发做铺垫，今天我们一起来学习下kettle job的知识。 kettle job 常用的步骤如下图，有Start、转换、作业、成功等步骤。 2、下面是一个简单的批量设计图，用到了Start、转换、作业、成功四个步骤。 Start：可以设置执行策略 阅读全文

摘要： 1、我们平常在做数据同步的时候，担心转换或者job没有正常运行，需要加上监控机制，这个时候就会用到邮件功能。 下图是一个简单的测试邮件发送功能的转换。在kettle.properties文件中设置邮件参数，通过邮件步骤进行发送。 2、地址参数配置 步骤名称此步骤在转换工作区中显示的名称。目标地址电子 阅读全文

摘要： 1、前面文章有学习过Transformation executor ，但后来测试kettle性能的时候遇到了很大的问题，此步骤的处理性能太慢，导致内存溢出等问题。所以再次一起学习下此步骤的用法。 2、 如下图中rds-sametable-同步逻辑处理使用的是Transformation execut 阅读全文

摘要： 一、设置KETTLE_HOME环境变量 假设kettle软件目录为/xxx/data-integration vi ~/.bash_profile export KETTLE_HOME=/xxx/data-integration/config source ~/.bash_profile echo 阅读全文

摘要： 1、Could not emit buffer due to lack of requests（无法发出缓冲区，因为请求不足。） 原因有两点：1）消费者处理数据能力较弱，如表输出步骤。2）消费者没有处理数据，如传递的数据中有字段type=1的数据，这种情况没有处理。 解放方案：针对 1）采用多线程处 阅读全文

摘要： 在windows 上面 carte服务的canvas画布展示的中文正常，但是在linux上面中文展示乱码，如下所示： 原因：linux 机器缺少字体所致。 kettle源码中使用字体： 解决方法： 安装字体即可，无需重启机器，如果不生效，试着重启下carte服务，参考如下连接安装字体https:// 阅读全文

摘要： 1、相关配置文件 jdbc.properties保存在simple-jndi目录下，这个文件用来存储JNDI连接对象的连接参数。Kettle可以用JNDI的方式来引用JDBC连接参数，如IP地址、用户认证，这些连接参数最终用来在转换和作业中构造数据库连接对象。 kettle.properties通用 阅读全文

摘要： 1、kettle 里面的资源仓库的意思就是存放转换（.ktr）或者job(.kjb)文件的地方。通过spoon客户端右上角可以进行设置资源仓库。 2、kettle的资源仓库有三种方式 1）本地文件存储，此种方式最简单，适用于本地单人开发测试。 2）数据库db存储，此种方式适合团队协作，可以将文件存储 阅读全文