H__D  

NiFI介绍

  NiFi(NiagaraFiles)是为了实现系统间数据流的自动化而构建的。虽然术语“数据流”用于各种上下文,但我们在此处使用它来表示系统之间的自动和管理信息流

  官网地址:http://nifi.apache.org/

  文档:http://nifi.apache.org/docs.html

  

NiFi架构

   

NiFI安装

  环境要求:a、需要Java 8或更高版本

       b、支持的操作系统:Linux、Unix、Windows、Mac OS X

  1、下载安装包

    命令:wget -b http://mirror.bit.edu.cn/apache/nifi/1.8.0/nifi-1.8.0-bin.tar.gz

  2、解压安装包、即可使用

    命令:tar -zxvf nifi-1.8.0-bin.tar.gz

    目录如下:
      

  3、配置文件( nifi-1.8.0/conf/nifi.properties )、可以使用默认配置,根据自己情况进行修改

      

  4、操作NIFI,启动的时候,比较慢,注意机器内存是否足够

    后台启动命令:./bin/nifi.sh start

    前端启动命令:./bin/nifi.sh run

    关闭命令:./bin/nifi.sh stop

    首次启动NiFi时,会创建以下文件和目录:

 

    • content_repository

    • database_repository

    • flowfile_repository

    • provenance_repository

    • work 目录

    • logs 目录

    • conf目录中,将创建flow.xml.gz文件

 

  5、启动后,使用浏览器进行访问,地址:http://ip:8080/nifi

      

NIFI简单使用

  不理解NIFI是做什么的,看一个简单的例子(同步文件夹)吧,帮助理解

  1、从工具栏中拖入一个Processor,在弹出面板中搜索GetFIle,然后确认
       

  2、配置GetFile,设置结束关系、输入目录、保留源文件,其他设置可以不动,输入目录中有文件:file.txt(内容为abc)。

          

            

  3、从工具栏中拖入一个Processor,在弹出面板中搜索PutFIle,然后确认,如第一步

  4、配置PutFile,设置结束关系、输出目录,其他设置可以不动,输出目录为空文件夹

       

  5、将GetFIle与PutFIle关联起来,从GetFIle中心点击,拖拉到PutFIle上

       

  6、右键启动GetFIle与PutFIle,可以看到结果,输入目录中的文件同步到,输出目录中了

    

  

  注意:操作过程中,注意错误排查

    1、Processor上的警告

      

    2、Processor上的错误

      

 

    

posted on 2018-12-06 20:47  H__D  阅读(16595)  评论(1编辑  收藏  举报