07 2024 档案
摘要：1、上一节可讲解了如何将json数据写入pg数据库表中的json字段，虽然实现了效果，但若客户继续使用表输出步骤则仍然无法解决问题。 正确的的解决方式是设置数据库连接参数stringtype=unspecified 2、stringtype=unspecified 参数的作用： 当设置为 unspe
阅读全文
摘要：kettle将json字符串写入pg数据表中的json字段
阅读全文
摘要：上一课我们讲解了如何将文件以二进制流的方式写入数据库，本节课我们一起学习下如何将二进制数据读取为文件。 1、将二进制流转换为文件这里主要用到了步骤【文本文件输出】。表输入步骤从表中读取blob字段，java代码定义二进制流转换为文件的全路径，文本文件输出步骤根据全路径和二进制流输出文件。如下图所示：
阅读全文
摘要：前些日子一个小伙伴私聊我咨询如何将数据库中的BLOB字段读取为文件。帮他顺利读取文件之后我在想kettle肯定支持将文件写入数据库BLOB字段。今天先来一起学习下 如何将文件以二进制流的方式写进数据库。 1、创建数据表，脚本如下： CREATE TABLE `file` ( `id` bigint
阅读全文
摘要：场景：kettle调用存储过程，存储过程中通过select * from table 方式返回结果集，kettle接收结果集。 解决方案：1）借助临时表。2）表输入步骤。今天主要讲解表输入。 1、创建一个无参存储过程，脚本中通过select * from t1 返回数据集。脚本如下： use tes
阅读全文
摘要：1、群里有小伙伴询问kettle连接hive的demo，今天抽点时间整理下。其实kettle连接hive和连接mysql数据库也是一样的。 1）kettle中的lib目录下放hive驱动jar，这里我使用的是kyuubi-hive-jdbc-shaded-1.9.0.jar。 2）设置hive连接参
阅读全文
摘要：在了解kettle血缘之前，咱们先来了解下什么是数据血缘？ 1、数据血缘定义（来自gpt） 数据血缘（Data Lineage）是指在数据管理和数据分析中追踪数据的源头、流向和处理过程的能力。具体来说，数据血缘描述了数据如何被创建、变换和移动，以及这些过程中数据的路径和影响。它有助于理解数据的可靠性
阅读全文
摘要：场景：kettle调用https接口，跳过校验SSL。（有些公司内部系统之间的https的接口是没有SSL校验这一说，无需使用用证书的） 解决方案：自定义插件或者自定义jar包通过javascript调用https接口。 1、http post 步骤调用https接口，无法通过ssl安全校验，如下图
阅读全文
