随笔分类 - flume
摘要：一、数据仓库架构二、flume收集数据存储到hdfs文档：http://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html#hdfs-sink三、监控日志目录日志数据，实时抽取之hdfs系统上-实验1、Source：Spooling Directory 在使用exec来监听数据源虽然实时性较高，但是可靠性较差，当source程序运...
阅读全文
摘要：一、定义agent，并运行1、配置文件#计划##收集hive的日志，存到hdfs/opt/cdh-5.3.6/hive-0.13.1-cdh5.3.6/logs/hive.log命令：tail -f source：Exec source 在启动时运行一个给定的Unix命令，并期望该进程在标准输出上不断地生成数据channel：memorysink：hdfs #/user/root/fl...
阅读全文
摘要：一、flume架构概述1、flume简介Flume是一种分布式，可靠且可用的服务，用于有效地收集，聚合和移动大量日志数据。它具有基于流数据流的简单灵活的架构。它具有可靠的可靠性机制和许多故障转移和恢复机制，具有强大的容错性。它使用简单的可扩展数据模型，允许在线分析应用程序。flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume参考资料： 官方网站：...
阅读全文
