H__D  

  本里需要基础知识:【NIFI】 Apache NiFI 安装及简单的使用

数据同步

  界面如下:

    

  具体流程:

    1、使用ExecuteSQL连接mysql数据库,通过写sql查询所需要的数据

    2、nifi默认查出来的数据为Avro格式,所以需要ConvertAvroToJSON把Avro格式转化为json格式的数据

    3、使用ConvertJSONToSQL把json数据转化为sql语句

    4、使用PutSQL把数据存入数据库。

    5、同步的数据重复插入数据库,需要对数据进行更新操作,SplitJson对json进行拆分

    6、EvaluateJsonPath提取json中的某个属性作为参数

    7、ReplaceText根据参数编写update语句进行更新操作

    8、PutSQL更新数据库

  传递关系时注意:本例仅传递成功的数据,失败的不传递

  ExecuteSQL

    

  DBCPConnectionPool

    

  ConvertAvroToJSON

    

  ConvertJSONToSQL

    

  PutSQL

    

  SplitJson

    

  EvaluateJsonPath

    

  ReplaceText

    

  PutSQL

    

  连接各个组件,然后启动所有组件,即可运行

 

各组件的具体说明请参考官方文档:http://nifi.apache.org/docs/nifi-docs/

  

  

 

posted on 2018-12-11 16:04  H__D  阅读(7877)  评论(1编辑  收藏  举报