摘要： 1、目前nifi系列已经更新了10多篇教程了，跟着教程走的同学应该已经对nifi有了初步的解，但是我相信同学们应该有一个疑问：nifi设计好的数据流列表在哪里？如何同时运行多个数据流？如启停单个数据流？ 带着这些疑问，今天的主角nifi Process Group正式登场，先给大家看个图。 2、Pr 阅读全文

摘要： 1、上一节课我们学习了处理器PushKafka，通过该处理器往kafka中间件写数据，今天我们一起学习处理器ConsumeKafka，此处理器从kafka读取数据进行后续处理，如下图所示： 本次示例比较简单：处理器ConsumeKafka 根据topic读取kafka中的数据，然后将数据传递给Log 阅读全文

摘要： 1、kettle的kafka生产者叫kafka producer，nifi中的相应处理器为PublishKafka，如下图所示： 可以很清楚的看到PublishKafka处理器支持多个版本的kafka，选择时要根据自己的kafka 版本选择相匹配的PublishKafka处理器，由于本人使用的是ka 阅读全文

摘要： 1、MQTT介绍 MQTT (Message Queuing Telemetry Transport) 是一种轻量级的消息传输协议，设计用于连接低带宽、高延迟或不可靠网络的设备。 MQTT 是基于发布/订阅模式（Publish/Subscribe）的协议，其中设备可以发布消息到一个主题（Topic） 阅读全文

摘要： 1、上一节课我们学习了MQTT producer 生产者步骤，MQTT consumer消费者步骤。该步骤可以从支持MRQTT协议的中间件获取数据，该步骤和kafka consumer 一样可以处理实时数据交互，如下图所示： 2、双击步骤打开MQTT consumer 配置窗口，如下图所示： Ste 阅读全文

摘要： 1、处理器QueryDatabaseTableRecord和处理器QueryDatabaseTable比较相似，该组件生成一个 SQL 查询，或者使用用户提供的语句，并执行它以获取所有在指定的最大值列中值大于先前所见最大值的行。QueryDatabaseTable的查询结果将被转换为 Avro ，而 阅读全文

摘要： 1、处理器QueryDatabaseTable，该组件生成一个 SQL 查询，或者使用用户提供的语句，并执行它以获取所有在指定的最大值列中值大于先前所见最大值的行。查询结果将被转换为 Avro 格式，如下图所示： 本示例通过QueryDatabaseTable处理器连接数据库查询表数据，然后连接到L 阅读全文

摘要： 1、上一节课我们讲解了nifi处理器UpdateAttribute，专门用来更新flowFile的属性字段。本节课我们一起来学习UpdateRecord，该处理器用来更新flowFile的流文件内容数据，如下图所示 本节教程比较简单，涉及处理器流程如下 使用处理器GenerateFlowFile生成 阅读全文

摘要： 1、上一节课我们学习了avro input，本节课我们一起学习下avro out步骤。 本节课通过json input 加载json文件，通过avro out 生成avro二进制文件，写日志步骤打印日志。将json input、avro output、写日志三个步骤拖到画布，然后连线，如下图所示： 阅读全文

摘要： 1、在这里我们重温下nifi里面一个重要的概念FlowFile，如下图所示： FlowFile：FlowFile代表NiFi中的单个数据。nifi数据流中流动的就是flowfile，每个nifi处理器处理的数据也是基于flowfile的。 FlowFile由两个组件组成：FlowFile属性(att 阅读全文