随笔分类 - kettle
摘要：描述： 在Windows下使用BAT调度存储在资源库中的KTR 准备环境： 1.ktr文件（该KTR必须是存储在资源管库中的） 2.bat文件 注意：上述代码中红色标记代码为重点注意，如果是执行JOB的话，那么就需要修改为-job 执行结果如下：test.log
阅读全文
摘要：使用kettle发送邮件是为了更好的监控ETL的加载信息 以下是我通过测试的一个案例 1. JOB示意图 2.邮件发送配置详细信息 2.1地址信息配置 2.2 服务器信息配置 上图中所说的“授权码”是通过以下方式获得： 然后进入到以下界面，如果没有开启的话，开启就行 2.3邮件消息配置（此处随便设置
阅读全文
摘要：具体错误如下： 解决办法： 这是由于缓存文件造成的错误，只需要找到..\pdi-ce-6.0.1.0-386\data-integration\system\karaf目录下缓存文件删除，我的缓存文件如下图： 有些可能就在该目录下，文件名为：cache 删除后重新启动就不会报错了。
阅读全文
摘要：1.数据库环境 2.需求 上述有2张表，表NowTable为实体表，表History为历史表，历史表与实体表需要进行数据同步。 很直白的说就是：通过使用插入更新，让表History中的数据与NowTable中的数据保持一致。 3.kettle基本示意图 4.控件详情 4.1NowTable(表输入)
阅读全文
摘要：在资源库中新建转换，作业都很简单，那么加入现在不需要其中某个转换或者作业该怎么办呢？ 下图是已经存在的转换跟作业 现在需要删除aa这个转换 操作步骤如下： 1.工具 资源库 探索资源库 出现下图界面 2.删除资源库 找到自己需要删除的转换，例如“aa”,右键，即可删除 点击“是”，即可删除
阅读全文
摘要：Kettle在控件中拥有行列转换功能，但是行列转换貌似是弄反了。 一.行转列 1.数据库脚本 2.总体行转列示意图 2.1表输入配置 2.2列转行配置 2.3字段选择配置 2.4文本文件输出配置 输出到文件后查看内容 二.列转行 1.数据库脚本 2.整体示意图 2.1表输入 2.2行转列 2.3字段
阅读全文
摘要：使用kettle调用资源库中的作业或者是转换，需要注意一下两个问题： 问题一：（-rep后不需要IP）标准shell代码如下 问题二：把windows路径下的.kettle文件夹上传到Linux的"/root/用户/"下（我的windows用户叫做oliver, Linux叫做kettle） 例如：
阅读全文
摘要：1.简介 先生成随机数，将生成的2列随机数进行计算，并且格式化计算结果 2.kettle流程图 3.流程图详细描述 3.1生成随机数 生成2个随机数字，列名为N1，N2 3.2计算器 将N1与N2对应的值进行相加，然后赋值N3 3.2字段选择 点击“元数据”，进行如下设置 所有设置完毕，点击“预览”
阅读全文
摘要：下面是一个用Kettle实现数据过滤、生成随机数、改变开始复制数量的连贯示意图。 首先，我们将控件一一建立，通过hop建立连接 下面对每一个控件进行设置 1.生成随机数控件（随机取一个数字与字符串） 2.过滤控件 3.文本文件输出 4.改变开始复制的数量 这个功能实际的含义是：设置多少份的拷贝，开多
阅读全文
摘要：1需求描述 使用Linux中的CRONTAB调度kettle 2 数据库环境 3 整体示意图 3.1 ETL.kjb 3.2 Tran.ktr 3.3 调度示意图 使用Linux调度kjb,使用kjb调度ktr 4 参数设置 首先在ETL.kjb中定义参数 右键 作业设置 接着看到如下界面：设置作业
阅读全文
摘要：环境描述： 现在一个项目有很多个作业，需要知道每次跑批后哪些ktr跑成功，哪些失败了 问题解决： 下面是一个具体的操作流程 首先建立数据库表 数据库表建立完毕之后，新建ktr,ktr示意图如下： 在上图界面右键--“转换设置”，可以看到如下界面： 上图中日志数据库连接为数据库日志表所存放数据库的连接
阅读全文