随笔分类 -  Flume系列

Flume NG安装部署及数据采集测试
摘要：转载请注明出处：http://www.cnblogs.com/xiaodf/ Flume作为日志收集工具，监控一个文件目录或者一个文件，当有新数据加入时，采集新数据发送给消息队列等。 1 安装部署Flume 若要采集数据节点的本地数据，每个节点都需要安装一个Flume工具，用来做数据采集。 1.1 阅读全文

posted @ 2016-11-02 16:39 XIAO的博客 阅读(3567) 评论(0) 推荐(0) 编辑

flume+kafka+smart数据接入实施手册
摘要：1. 概述 本手册主要介绍了，一个将传统数据接入到Hadoop集群的数据接入方案和实施方法。供数据接入和集群运维人员参考。 1.1. 整体方案 Flume作为日志收集工具，监控一个文件目录或者一个文件，当有新数据加入时，收集新数据发送给Kafka。Kafka用来做数据缓存和消息订阅。Kafka里面的 阅读全文

posted @ 2015-10-13 11:01 XIAO的博客 阅读(1930) 评论(0) 推荐(0) 编辑

Flume NG之Interceptor简介
摘要：转载地址：http://www.cnblogs.com/lxf20061900/p/3658172.html 有的时候希望通过Flume将读取的文件再细分存储，比如讲source的数据按照业务类型分开存储，具体一点比如类似：将source中web、wap、media等的内容分开存储；比如丢弃或修改一 阅读全文

posted @ 2015-07-01 16:43 XIAO的博客 阅读(575) 评论(0) 推荐(0) 编辑

Flume NG 简介及配置实战
摘要：Flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、核心组件设计不合理、核心 阅读全文

posted @ 2015-07-01 15:25 XIAO的博客 阅读(1454) 评论(0) 推荐(0) 编辑

导航

统计

点击右上角即可分享
微信分享提示