weiyanei

摘要： 目录 一、 流程 二、 代码 一、 流程 在继承kettle的类之前，先去看spoon中有一个脚本的组件，可以使用java代码或者js等处理数据， 当把这个流程配置起来的时候，是如下所示， 当双击这个main时，会出现一个方法，这就是处理行数据的方法， 其中有参考示例，设置值的示例，如下图所示， 当 阅读全文

摘要： 目录 一、流程图 二、 代码 排序记录 去除重复记录 三、运行 完整代码 ktr文件 一、流程图 如下图，本次重点是排序记录和去除重复记录两个节点说明。 排序记录界面配置如下，一般只需要填写字段列信息即可，其他信息使用默认的就行， 去除重复记录也是填写下面比较的字段即可，这里会比较id,name,a 阅读全文

摘要： 目录 一、流程说明 二、代码 剪切 替换 操作 三、问题项 问题：string can't convert to number 问题、少设置属性导致空指针 问题、节点连接错误 四、运行 完整代码 ktr文件 一、流程说明 三个步骤，先剪切，后替换，然后大小写转换，三个字符串的操作步骤。 二、代码 剪 阅读全文

摘要： 目录 一、流程 二、代码说明 ConcatFieldsMeta CalculatorMeta 三、问题项 四、运行 完整代码 ktr文件 一、流程 concat fields和计算器是转换里面的，本次以这两个为列讲述转换里面的东西，还是从ktr分析开始。 观察concat fields节点，其实就是 阅读全文

摘要： 目录 一、准备工作 二、 分析ktr 三、代码分析 四、 问题项 问题、没有设置bufferSize 问题、没有设置ExcelOutputMeta的ExcelField 五、运行 完整代码 完整ktr 一、准备工作 准备一个csv文件，内容如下， 在spoon工具中配置如下交换，并保存为ktr文件， 阅读全文

摘要： 目录 一、ktr文件生成 二、分析ktr文件 解析类 文件路径 文件字段 图形化信息 输出节点 三、交换代码 初始化环境 输入节点 输入字段列设置 输出节点 输出节点列设置 设置Trans 将步骤添加到Trans 步骤关联 交换执行 四、问题点 问题、no class found 没有jxl包和po 阅读全文

摘要： 目录 一、图文说明 二、 错误处理代码 上述的图片整体代码 三、扩展 图片说明 完整代码 一、图文说明 在如上图中，有定义一个tableOutputError，如果在select节点发生错误，那么就将进入此tableOutputError，将错误数据输出到表。 但是如果是tableOutput处发生 阅读全文

摘要： 目录 代码生成ktr spoon界面查看 代码生成ktr 从之前的一个Kettle交换代码来看，应该可以生成ktr文件，在spoon页面上展示。 代码如下： /** * hive之间的交换 * @throws KettleException */ @Test public void exchange 阅读全文

摘要： 目录 前言 编写代码 报错解决 完整代码 前言 一直以来的都是使用TableOutput输出到表，但是如果是有主键，需要更新数据，用这个很明显是不可以的。 所以需要InsertUpdateMeta节点，交换模型如下图红框所示，表输入-->插入/更新 插入更新节点的设置如下图 两个表的话如下图所示， 阅读全文

摘要： 目录 前言 环境查看 编写代码 错误解决 连接拒绝 Permission denied 路径不对 完整代码 前言 还是之前kettle中那个hive环境，这次不用kettle将数据加载到hive中去，而是用写文件的方式。 环境介绍： 三个hadoop节点 192.168.10.211 node01 阅读全文