摘要: Apache NiFi 核心概念和关键特性 翻译自官方文档 NiFi 的核心概念 核心概念如下: FlowFileFlowFile表示在系统中移动的每个对象,FlowFile由两部分组成: content 内容 既数据本身 attributes 属性 每条数据带上的属性信息.以键值对的形式. Flo 阅读全文
posted @ 2020-06-23 14:37 mzjnumber1 阅读(367) 评论(0) 推荐(0) 编辑
摘要: Hive llap服务安装说明及测试 1.简介说明 从Hive 2.0引入了LLAP(Live Long And Process),2.1进行了比较大的优化,可以说hive已经走向了内存计算, 目前hortonworks测试llap +tez比hive1.x快了25倍,禁不住诱惑来玩一下 2.LLA 阅读全文
posted @ 2020-06-23 14:30 mzjnumber1 阅读(1734) 评论(0) 推荐(0) 编辑
摘要: Nifi生产环境使用 1、服务器日志目录内的 log 文件中,我们使用 Apache Flume 这个工具将原始数据抽取出来 kafka sink , 2、Nifi接入kafka数据。 首先做验证,然后过滤格式错误记录,然后路由不同的日志类型. nifi能做到这些的关键在于它的 flowfile 这 阅读全文
posted @ 2020-06-23 14:18 mzjnumber1 阅读(1124) 评论(0) 推荐(0) 编辑