随笔分类 -  kettle

摘要:如图所示,mysql升级到8了。 在很早之前,我一直用的是Mysql 5的驱动包去连接数据库,今天发现突然连接不上了,想了一下,应该是我以前升级mysql后的原因,换了mysql8的驱动后依旧没个卵用。 报错如下,应该是连不上MySQL。 确定数据库和连接信息都没有写错。 查看特征列表后发现,使用的 阅读全文
posted @ 2022-08-31 10:02 伟衙内 阅读(193) 评论(0) 推荐(0) 编辑
摘要:目录 前言 代码说明 TableInputRowAdapter TableOutputRowAdapter 其他代码段 后记 完整交换代码 前言 本次目的是监控数据,然后能操作数据,同时继承TableInput,TableInputMeta和TableOutput,TableOutputMeta类, 阅读全文
posted @ 2021-11-25 15:10 伟衙内 阅读(44) 评论(0) 推荐(0) 编辑
摘要:目录 目录 前言 运行 TableInput描述 TableOutput描述 调试代码 前言 在之前我写了如何通过java 脚本来修改数据,从而确定有一个processRow()方法,该方法中能获取到数据信息等,那么接下来就是需要运行一个简单的表交换来看数据是怎么流的。 首先写一个简单的tableI 阅读全文
posted @ 2021-11-24 17:19 伟衙内 阅读(157) 评论(0) 推荐(0) 编辑
摘要:pentaho-kettle-8.2.0.0-342源码: pentaho-kettle-8.2.0.0-342 的源码,自己调整或者即将调整的 - Gitee.comhttps://gitee.com/king_software/pentaho-kettle-8.2.0.0-342/tree/de 阅读全文
posted @ 2021-11-23 16:56 伟衙内 阅读(367) 评论(0) 推荐(0) 编辑
摘要:目录 一、 流程 二、 代码 一、 流程 在继承kettle的类之前,先去看spoon中有一个脚本的组件,可以使用java代码或者js等处理数据, 当把这个流程配置起来的时候,是如下所示, 当双击这个main时,会出现一个方法,这就是处理行数据的方法, 其中有参考示例,设置值的示例,如下图所示, 当 阅读全文
posted @ 2021-11-23 15:42 伟衙内 阅读(78) 评论(0) 推荐(0) 编辑
摘要:目录 一、流程图 二、 代码 排序记录 去除重复记录 三、运行 完整代码 ktr文件 一、流程图 如下图,本次重点是排序记录和去除重复记录两个节点说明。 排序记录界面配置如下,一般只需要填写字段列信息即可,其他信息使用默认的就行, 去除重复记录也是填写下面比较的字段即可,这里会比较id,name,a 阅读全文
posted @ 2021-11-23 14:18 伟衙内 阅读(56) 评论(0) 推荐(0) 编辑
摘要:目录 一、流程说明 二、代码 剪切 替换 操作 三、问题项 问题:string can't convert to number 问题、少设置属性导致空指针 问题、节点连接错误 四、运行 完整代码 ktr文件 一、流程说明 三个步骤,先剪切,后替换,然后大小写转换,三个字符串的操作步骤。 二、代码 剪 阅读全文
posted @ 2021-11-22 17:49 伟衙内 阅读(61) 评论(0) 推荐(0) 编辑
摘要:目录 一、流程 二、代码说明 ConcatFieldsMeta CalculatorMeta 三、问题项 四、运行 完整代码 ktr文件 一、流程 concat fields和计算器是转换里面的,本次以这两个为列讲述转换里面的东西,还是从ktr分析开始。 观察concat fields节点,其实就是 阅读全文
posted @ 2021-11-22 15:21 伟衙内 阅读(55) 评论(0) 推荐(0) 编辑
摘要:目录 一、准备工作 二、 分析ktr 三、代码分析 四、 问题项 问题、没有设置bufferSize 问题、没有设置ExcelOutputMeta的ExcelField 五、运行 完整代码 完整ktr 一、准备工作 准备一个csv文件,内容如下, 在spoon工具中配置如下交换,并保存为ktr文件, 阅读全文
posted @ 2021-11-19 14:44 伟衙内 阅读(62) 评论(0) 推荐(0) 编辑
摘要:目录 一、ktr文件生成 二、分析ktr文件 解析类 文件路径 文件字段 图形化信息 输出节点 三、交换代码 初始化环境 输入节点 输入字段列设置 输出节点 输出节点列设置 设置Trans 将步骤添加到Trans 步骤关联 交换执行 四、问题点 问题、no class found 没有jxl包和po 阅读全文
posted @ 2021-11-19 10:48 伟衙内 阅读(158) 评论(0) 推荐(0) 编辑
摘要:目录 一、图文说明 二、 错误处理代码 上述的图片整体代码 三、扩展 图片说明 完整代码 一、图文说明 在如上图中,有定义一个tableOutputError,如果在select节点发生错误,那么就将进入此tableOutputError,将错误数据输出到表。 但是如果是tableOutput处发生 阅读全文
posted @ 2021-11-15 18:03 伟衙内 阅读(371) 评论(0) 推荐(0) 编辑
摘要:目录 代码生成ktr spoon界面查看 代码生成ktr 从之前的一个Kettle交换代码来看,应该可以生成ktr文件,在spoon页面上展示。 代码如下: /** * hive之间的交换 * @throws KettleException */ @Test public void exchange 阅读全文
posted @ 2021-11-12 11:55 伟衙内 阅读(134) 评论(0) 推荐(0) 编辑
摘要:目录 前言 编写代码 报错解决 完整代码 前言 一直以来的都是使用TableOutput输出到表,但是如果是有主键,需要更新数据,用这个很明显是不可以的。 所以需要InsertUpdateMeta节点,交换模型如下图红框所示,表输入-->插入/更新 插入更新节点的设置如下图 两个表的话如下图所示, 阅读全文
posted @ 2021-08-27 10:18 伟衙内 阅读(498) 评论(0) 推荐(0) 编辑
摘要:目录 前言 环境查看 编写代码 错误解决 连接拒绝 Permission denied 路径不对 完整代码 前言 还是之前kettle中那个hive环境,这次不用kettle将数据加载到hive中去,而是用写文件的方式。 环境介绍: 三个hadoop节点 192.168.10.211 node01 阅读全文
posted @ 2021-08-25 15:36 伟衙内 阅读(107) 评论(0) 推荐(0) 编辑
摘要:如下图所示,获取到的信息打印后和kettle日志打印出来的内容是一致的, 上述打印其实很简单,如下代码所示,其实就是从trans中获取执行步骤,从执行步骤中获取信息。 //等待完成 trans.waitUntilFinished(); if (trans.getErrors() > 0) { Sys 阅读全文
posted @ 2021-08-24 20:20 伟衙内 阅读(238) 评论(0) 推荐(0) 编辑
摘要:如下图模型,一个表输入,两个表输出,那么这个表的数据是复制到两个表输出还是分发给两个表输出? 在连接线的时候会有下图提示, 提示你选择复制还是分发,分发也有解释轮流接收记录,也就是两表输出一个接收一半,另一个接收一半。 那么代码呢?依旧是上次mysql交换到hive的那个代码,稍微改一改,只不过不是 阅读全文
posted @ 2021-08-24 17:29 伟衙内 阅读(465) 评论(0) 推荐(0) 编辑
摘要:目录 一、将查询结果放入变量中 二、 获取查询结果到结果集 三、将查询结果放入JsonOutputMeta 一、将查询结果放入变量中 初始化环境, @Before public void before() { try { // 初始化Kettle环境 KettleEnvironment.init() 阅读全文
posted @ 2021-08-23 15:03 伟衙内 阅读(1351) 评论(0) 推荐(0) 编辑
摘要:目录 前言 Hive与Mysql hive到mysql mysql到hive HIve与Oracle hive到oracle oracle到hive HIVE与SQLserver hive到sqlserver sqlserver到hive 完整代码 前言 在https://blog.csdn.net 阅读全文
posted @ 2021-08-20 17:56 伟衙内 阅读(209) 评论(0) 推荐(0) 编辑
摘要:目录 前言 core的源码修改 前言 在这个博客中https://blog.csdn.net/lw18751836671/article/details/119794613?spm=1001.2014.3001.5501, 我误以为下载的是5.1的源码,没想到是9.3的源码,5.1的源码的core模 阅读全文
posted @ 2021-08-20 10:14 伟衙内 阅读(174) 评论(0) 推荐(0) 编辑
摘要:目录 下载 kettle-core变成maven工程 kettle-engine变成maven 打包 下载 地址: https://github.com/pentaho/pentaho-kettle/tree/5.1 将zip文件解压,然后导入到Idea,导入后如下图所示,5.1的源码不是一个mav 阅读全文
posted @ 2021-08-20 10:07 伟衙内 阅读(81) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示