etl-nifi- - 慕容尘轩

ETL工具-nifi干货系列第六讲处理器JoltTransformJSON

摘要：1、处理器作用使用Jolt转换JSON数据为其他结构的JSON,成功的路由到'success',失败的'failure'。处理JSON的实用程序不是基于流的，因此大型JSON文档转换可能会消耗大量内存。 Jolt：JSON 到 JSON 转换库，用 Java 编写，其中转换的 "规范" 或者描述文阅读全文

posted @ 2024-04-01 21:07 慕容尘轩阅读(1679) 评论(0) 推荐(0)

ETL工具-nifi干货系列第七讲处理器JoltTransformJSON（续）

摘要：第六讲教程只简单介绍了Jolt的chain转换模式，本节课介绍下Jolt的各种转换模式。点击的处理器JoltTransformJSON高级配置选项，进行测试Jolt的转换模式。 1、Cardinality：更改了输入JSON数据元素的基数，适用于jsonObj和jsonList 之间的转换。 li 阅读全文

posted @ 2024-04-02 18:24 慕容尘轩阅读(682) 评论(0) 推荐(0)

ETL工具-nifi干货系列第八讲处理器PutDatabaseRecord 写数据库（详细）

摘要：1、本节通过一个小例子来讲解下处理器PutDatabaseRecord，该处理器的作用是将数据写入数据库。如下流程通过处理器GenerateFlowFile 生成数据，然后通过处理器JoltTransformJSON转换结构，最后通过处理器PutDatabaseRecord将数据写入数据库。如下图阅读全文

posted @ 2024-04-05 19:47 慕容尘轩阅读(698) 评论(0) 推荐(0)

ETL工具-nifi干货系列第九讲处理器EvaluateJsonPath，根据JsonPath提取字段

摘要：1、其实这一节课本来按照计划一起学习RouteOnAttribute处理器（相当于java中的ifelse，switch case 控制语句），但是在学习的过程中遇到了一些问题。RouteOnAttribute 需要依赖处理器EvaluateJsonPath，所以本节课我们一起来学习下Evaluat 阅读全文

posted @ 2024-04-08 13:10 慕容尘轩阅读(697) 评论(0) 推荐(0)

ETL工具-nifi干货系列第十讲处理器RouteOnAttribute（数据流路由）

摘要：1、今天我们一起来学习下处理器RouteOnAttribute，此处理器的作用是根据属性值进行路由进而来控制数据流的走向。类似于java中的if-else或者switch-case。如下图所示。 GenerateFlowFile 产生测试数据，{"name":"Javax 小金刚","id":"2" 阅读全文

posted @ 2024-04-09 18:28 慕容尘轩阅读(853) 评论(0) 推荐(0)

ETL工具-nifi干货系列第十一讲处理器UpdateAttribute使用教程

摘要：1、在这里我们重温下nifi里面一个重要的概念FlowFile，如下图所示： FlowFile：FlowFile代表NiFi中的单个数据。nifi数据流中流动的就是flowfile，每个nifi处理器处理的数据也是基于flowfile的。 FlowFile由两个组件组成：FlowFile属性(att 阅读全文

posted @ 2024-04-14 16:38 慕容尘轩阅读(1114) 评论(0) 推荐(0)

ETL工具-nifi干货系列第十二讲 nifi处理器UpdateRecord使用教程

摘要：1、上一节课我们讲解了nifi处理器UpdateAttribute，专门用来更新flowFile的属性字段。本节课我们一起来学习UpdateRecord，该处理器用来更新flowFile的流文件内容数据，如下图所示本节教程比较简单，涉及处理器流程如下使用处理器GenerateFlowFile生成阅读全文

posted @ 2024-04-16 08:28 慕容尘轩阅读(909) 评论(0) 推荐(0)

ETL工具-nifi干货系列第十三讲 nifi处理器QueryDatabaseTable查询表数据实战教程

摘要：1、处理器QueryDatabaseTable，该组件生成一个 SQL 查询，或者使用用户提供的语句，并执行它以获取所有在指定的最大值列中值大于先前所见最大值的行。查询结果将被转换为 Avro 格式，如下图所示：本示例通过QueryDatabaseTable处理器连接数据库查询表数据，然后连接到L 阅读全文

posted @ 2024-04-16 22:03 慕容尘轩阅读(916) 评论(0) 推荐(0)

ETL工具-nifi干货系列第十四讲 nifi处理器QueryDatabaseTableRecord查询表数据实战教程

摘要：1、处理器QueryDatabaseTableRecord和处理器QueryDatabaseTable比较相似，该组件生成一个 SQL 查询，或者使用用户提供的语句，并执行它以获取所有在指定的最大值列中值大于先前所见最大值的行。QueryDatabaseTable的查询结果将被转换为 Avro ，而阅读全文

posted @ 2024-04-17 22:37 慕容尘轩阅读(382) 评论(0) 推荐(0)

ETL工具-nifi干货系列第十四讲 nifi处理器PublishKafka实战教程

摘要：1、kettle的kafka生产者叫kafka producer，nifi中的相应处理器为PublishKafka，如下图所示：可以很清楚的看到PublishKafka处理器支持多个版本的kafka，选择时要根据自己的kafka 版本选择相匹配的PublishKafka处理器，由于本人使用的是ka 阅读全文

posted @ 2024-04-22 21:49 慕容尘轩阅读(398) 评论(0) 推荐(0)

ETL工具-nifi干货系列第十五讲 nifi处理器ConsumeKafka实战教程

摘要：1、上一节课我们学习了处理器PushKafka，通过该处理器往kafka中间件写数据，今天我们一起学习处理器ConsumeKafka，此处理器从kafka读取数据进行后续处理，如下图所示：本次示例比较简单：处理器ConsumeKafka 根据topic读取kafka中的数据，然后将数据传递给Log 阅读全文

posted @ 2024-04-23 22:18 慕容尘轩阅读(595) 评论(0) 推荐(0)

ETL工具-nifi干货系列第十七讲 nifi Input Port&Out Port 实战教程

摘要：1、端口（Port），包含输入端口（Input Port）和输出端口（Out Port ）使用一个或多个处理组构建的数据流需要一种方式将处理组连接到其他数据流组件。处理组和处理组之间可以通过使用端口来进行连接。这里的端口和kettle中的步骤【复制记录到结果】、【从结果获取记录】是类似的功能。阅读全文

posted @ 2024-04-25 23:11 慕容尘轩阅读(454) 评论(0) 推荐(0)

ETL工具-nifi干货系列第十八讲 nifi Funnel实战教程

摘要：1、Funnel （漏斗），Funnel是 NiFi 组件，用于将多个连接中的数据合并到一个连接中。使用场景：nifi中的Funnel组件用于合并多个数据流并将它们传递到下游处理器。它可以将来自不同来源的数据流合并到一个数据流中，方便后续处理器对数据进行处理。Funnel组件通常用于将不同分支的数阅读全文

posted @ 2024-04-26 17:02 慕容尘轩阅读(629) 评论(0) 推荐(0)

合集-etl-nifi

公告