随笔分类 - flume

摘要：flume-示例2 阅读全文

posted @ 2018-06-13 22:52 duanxz 阅读(177) 评论(0) 推荐(0) 编辑

摘要：一：flume介绍 Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。，Flume架构分为三个部分源-Source，接收器-Sink，通道-Channel。二：配阅读全文

posted @ 2018-06-13 17:10 duanxz 阅读(1028) 评论(0) 推荐(0) 编辑

flume http source示例讲解

摘要：一、介绍 flume自带的Http Source可以通过Http Post接收事件。场景：对于有些应用程序环境，它可能不能部署Flume SDK及其依赖项，或客户端代码倾向于通过HTTP而不是Flume的PRC发送数据的情况，此时HTTP SOURCE可以用来将数据接收到Flume中。从客户端的阅读全文

posted @ 2018-06-13 15:09 duanxz 阅读(2068) 评论(0) 推荐(0) 编辑

flume=示例

摘要：flume=示例阅读全文

posted @ 2018-06-08 20:18 duanxz 阅读(179) 评论(0) 推荐(0) 编辑

flume-拦截器、channel选择器、sink组合sink处理器

摘要：1. Flume Interceptors Flume有能力修改/删除流程中的events。这是在拦截器（interceptor）的帮助下完成的。拦截器（Interceptors）是实现org.apache.flume.interceptor.Interceptor接口的类。一个intercepto 阅读全文

posted @ 2018-06-08 20:17 duanxz 阅读(840) 评论(0) 推荐(0) 编辑

flume-sink

摘要：概述从Flume Agent移除数据并写入到另一个Agent或数据存储或一些其他存储系统的组件被称为sink。Sink不断的轮询channel中的事件且批量的移除它们。这些事件批量写入到存储或索引系统，或者被发送到另一个Flume Agent。Sink是完全事务性的。在从channel批量移除数据阅读全文

posted @ 2018-06-08 20:16 duanxz 阅读(1292) 评论(0) 推荐(0) 编辑

flume-channel

摘要：1. Flume Channel Channels是events在agent上进行的存储库。Source添加events，Sink移除events。 Channel 是位于Source 和Sink 之间的缓冲区。因此，Channel 允许Source 和Sink 运作在不同的速率上。Channel 阅读全文

posted @ 2018-06-08 20:16 duanxz 阅读(1372) 评论(0) 推荐(0) 编辑

flume-source

摘要：1.1 Avro Source 监听Avro端口，从Avro client streams接收events。要求属性是粗体字。利用Avro Source可以实现多级流动、扇出流、扇入流等效果。另外也可以接受通过flume提供的Avro客户端发送的日志信息。 !channels – !type – 类阅读全文

posted @ 2018-06-08 20:15 duanxz 阅读(919) 评论(0) 推荐(0) 编辑

flume原理

摘要：1、flume的外部结构：如上图所示，数据发生器（如：facebook,twitter）产生的数据被被单个的运行在数据发生器所在服务器上的agent所收集，之后数据收容器从各个agent上汇集数据并将采集到的数据存入到HDFS或者HBase中。 2. Flume 事件事件作为Flume内部数据传阅读全文

posted @ 2018-06-08 18:20 duanxz 阅读(1838) 评论(0) 推荐(0) 编辑

flume使用之httpSource

摘要：flume自带很长多的source，如：exe、kafka...其中有一个非常简单的source——httpsource，使用httpSource，flume启动后会拉起一个web服务来监听指定的ip和port。常用的使用场景：对于有些应用环境中，不能部署Flume SDK及其依赖项，可以在代码中通阅读全文

posted @ 2018-06-08 14:22 duanxz 阅读(1681) 评论(0) 推荐(0) 编辑

flume入门之一：flume 安装及测试

摘要：http://flume.apache.org/ flume下载：http://mirror.bit.edu.cn/apache/flume/1.7.0/apache-flume-1.7.0-bin.tar.gz flume安装：tar apache-flume-1.7.0-bin.tar.gz 修阅读全文

posted @ 2015-11-27 23:29 duanxz 阅读(1391) 评论(0) 推荐(0) 编辑

昵称： duanxz
园龄： 13年11个月
粉丝： 2430
关注： 22

+加关注

2025年3月

日

一

二

三

四

五

六

随笔分类 - flume

搜索

常用链接

我的标签

随笔分类

随笔档案

文章分类

阅读排行榜

评论排行榜

推荐排行榜

最新评论