04 2024 档案
摘要：1、Funnel （漏斗），Funnel是 NiFi 组件，用于将多个连接中的数据合并到一个连接中。 使用场景：nifi中的Funnel组件用于合并多个数据流并将它们传递到下游处理器。它可以将来自不同来源的数据流合并到一个数据流中，方便后续处理器对数据进行处理。Funnel组件通常用于将不同分支的数
阅读全文
摘要：1、端口（Port），包含输入端口（Input Port）和输出端口（Out Port ） 使用一个或多个处理组构建的数据流需要一种方式将处理组连接到其他数据流组件。 处理组和处理组之间可以通过使用端口来进行连接。这里的端口和kettle中的步骤【复制记录到结果】、【从结果获取记录】是类似的功能。
阅读全文
摘要：1、目前nifi系列已经更新了10多篇教程了，跟着教程走的同学应该已经对nifi有了初步的解，但是我相信同学们应该有一个疑问：nifi设计好的数据流列表在哪里？如何同时运行多个数据流？如启停单个数据流？ 带着这些疑问，今天的主角nifi Process Group正式登场，先给大家看个图。 2、Pr
阅读全文
摘要：1、上一节课我们学习了处理器PushKafka，通过该处理器往kafka中间件写数据，今天我们一起学习处理器ConsumeKafka，此处理器从kafka读取数据进行后续处理，如下图所示： 本次示例比较简单：处理器ConsumeKafka 根据topic读取kafka中的数据，然后将数据传递给Log
阅读全文
摘要：1、kettle的kafka生产者叫kafka producer，nifi中的相应处理器为PublishKafka，如下图所示： 可以很清楚的看到PublishKafka处理器支持多个版本的kafka，选择时要根据自己的kafka 版本选择相匹配的PublishKafka处理器，由于本人使用的是ka
阅读全文
摘要：1、MQTT介绍 MQTT (Message Queuing Telemetry Transport) 是一种轻量级的消息传输协议，设计用于连接低带宽、高延迟或不可靠网络的设备。 MQTT 是基于发布/订阅模式（Publish/Subscribe）的协议，其中设备可以发布消息到一个主题（Topic）
阅读全文
摘要：1、上一节课我们学习了MQTT producer 生产者步骤，MQTT consumer消费者步骤。该步骤可以从支持MRQTT协议的中间件获取数据，该步骤和kafka consumer 一样可以处理实时数据交互，如下图所示： 2、双击步骤打开MQTT consumer 配置窗口，如下图所示： Ste
阅读全文
摘要：1、处理器QueryDatabaseTableRecord和处理器QueryDatabaseTable比较相似，该组件生成一个 SQL 查询，或者使用用户提供的语句，并执行它以获取所有在指定的最大值列中值大于先前所见最大值的行。QueryDatabaseTable的查询结果将被转换为 Avro ，而
阅读全文
摘要：1、处理器QueryDatabaseTable，该组件生成一个 SQL 查询，或者使用用户提供的语句，并执行它以获取所有在指定的最大值列中值大于先前所见最大值的行。查询结果将被转换为 Avro 格式，如下图所示： 本示例通过QueryDatabaseTable处理器连接数据库查询表数据，然后连接到L
阅读全文
摘要：1、上一节课我们讲解了nifi处理器UpdateAttribute，专门用来更新flowFile的属性字段。本节课我们一起来学习UpdateRecord，该处理器用来更新flowFile的流文件内容数据，如下图所示 本节教程比较简单，涉及处理器流程如下 使用处理器GenerateFlowFile生成
阅读全文
摘要：1、上一节课我们学习了avro input，本节课我们一起学习下avro out步骤。 本节课通过json input 加载json文件，通过avro out 生成avro二进制文件，写日志步骤打印日志。将json input、avro output、写日志三个步骤拖到画布，然后连线，如下图所示：
阅读全文
摘要：1、在这里我们重温下nifi里面一个重要的概念FlowFile，如下图所示： FlowFile：FlowFile代表NiFi中的单个数据。nifi数据流中流动的就是flowfile，每个nifi处理器处理的数据也是基于flowfile的。 FlowFile由两个组件组成：FlowFile属性(att
阅读全文
摘要：1、今天我们一起来学习下处理器RouteOnAttribute，此处理器的作用是根据属性值进行路由进而来控制数据流的走向。类似于java中的if-else或者switch-case。如下图所示。 GenerateFlowFile 产生测试数据，{"name":"Javax 小金刚","id":"2"
阅读全文
摘要：1、其实这一节课本来按照计划一起学习RouteOnAttribute处理器（相当于java中的ifelse，switch case 控制语句），但是在学习的过程中遇到了一些问题。RouteOnAttribute 需要依赖处理器EvaluateJsonPath，所以本节课我们一起来学习下Evaluat
阅读全文
摘要：1、本节通过一个小例子来讲解下处理器PutDatabaseRecord，该处理器的作用是将数据写入数据库。 如下流程通过处理器GenerateFlowFile 生成数据，然后通过处理器JoltTransformJSON转换结构，最后通过处理器PutDatabaseRecord将数据写入数据库。如下图
阅读全文
摘要：1、我们在学习nifi的过程中有接触到Avro schema，当时我在想kettle应该也支持Avro，果不其然kettle也是支持Avro文件的读和写的。今天我们一起来学习下kettle中如何使用Avro input 读步骤。对Avro 不了解的，可以学习文章ETL工具-nifi干货系列 第四讲
阅读全文
摘要：第六讲教程只简单介绍了Jolt的chain转换模式，本节课介绍下Jolt的各种转换模式。 点击的处理器JoltTransformJSON高级配置选项，进行测试Jolt的转换模式。 1、Cardinality：更改了输入JSON数据元素的基数，适用于jsonObj和jsonList 之间的转换。 li
阅读全文
摘要：1、处理器作用 使用Jolt转换JSON数据为其他结构的JSON,成功的路由到'success',失败的'failure'。处理JSON的实用程序不是基于流的，因此大型JSON文档转换可能会消耗大量内存。 Jolt：JSON 到 JSON 转换库，用 Java 编写，其中转换的 "规范" 或者描述文
阅读全文
