随笔分类 - Flume

应用Flume+HBase采集和存储日志数据

摘要：1. 在本方案中，我们要将数据存储到HBase中，所以使用flume中提供的hbase sink，同时，为了清洗转换日志数据，我们实现自己的AsyncHbaseEventSerializer。package com.ncc.dlut;import java.io.UnsupportedEncodin... 阅读全文

posted @ 2015-12-01 18:48 ~风轻云淡~ 阅读(2319) 评论(0) 推荐(0) 编辑

FLume监控文件夹，将数据发送给Kafka以及HDFS的配置文件详解

摘要：详细配置文件flume-conf.properties如下：############################################# producer config############################################agent sectionp... 阅读全文

posted @ 2015-11-28 11:25 ~风轻云淡~ 阅读(5154) 评论(1) 推荐(0) 编辑

Flume-NG一些注意事项（转）

摘要：原文链接：记Flume-NG一些注意事项这里只考虑flume本身的一些东西，对于JVM、HDFS、HBase等得暂不涉及。。。。一、关于Source：1、spool-source：适合静态文件，即文件本身不是动态变化的；2、avro source可以适当提高线程数量来提高此source性能；3、Th... 阅读全文

posted @ 2015-11-24 14:10 ~风轻云淡~ 阅读(2175) 评论(0) 推荐(0) 编辑

Flume NG 配置详解（转）

摘要：原文链接：[转]Flume NG 配置详解（说明，名词对应解释源-Source，接收器-Sink，通道-Channel）配置设置代理 Flume代理配置存储在本地配置文件。这是一个文本文件格式，是Java属性文件格式。在相同的配置文件，可以指定一个或多个代理的配置。配置文件包括每个源，接收... 阅读全文

posted @ 2015-11-21 16:25 ~风轻云淡~ 阅读(1268) 评论(0) 推荐(0) 编辑

flume和kafka整合（转）

摘要：原文链接：Kafka flume 整合前提前提是要先把flume和kafka独立的部分先搭建好。下载插件包下载flume-kafka-plus:https://github.com/beyondj2ee/flumeng-kafka-plugin把lib目录下的和package下的都放到flume的... 阅读全文

posted @ 2015-11-16 14:06 ~风轻云淡~ 阅读(1411) 评论(0) 推荐(0) 编辑

Flume的安装配置

摘要：flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力。一、什么是Flume? flume 作为 cloudera 开发的实时... 阅读全文

posted @ 2015-11-16 14:04 ~风轻云淡~ 阅读(557) 评论(0) 推荐(0) 编辑