Flume日志收集

Hdfs数据接入方式

 

Flume是什么

 

Flume在hadoop生态体系中的位置

 

 

Flume架构解析--Flume OG

Flume NG架构解析—单agent部署

 

 

channel起到缓存的作用，防止从source进来的数据一下子太多了马上拥到sink

 

Flume架构解析—核心概念

 

Flume架构解析—multi-agent flow

 

Flume架构解析—聚合flow

 

Flume架构解析—多路flow

 

 

Flume架构解析—Source, Channel处理器、拦截器和Channel选择器之间的交互 

 

 

Flume架构解析—Sink运行器、 Sink组和Sink处理器

 

Flume架构解析—load balance

 

Flume 拓扑-拦截器

 

常见日志搜集系统对比--Scribe

 

常见日志搜集系统对比--kafka

 

常见日志搜集系统对比

 

Flume 应用场景

 

Nginx和用户行为日志收集计算总体构架

用户行为日志采集拓扑

 

Nginx日志采集拓扑