随笔分类 - # Flume
摘要：文章目录 1. 组件简介2. 项目实践2.1 负载均衡2.1.1 需求2.1.2 配置2.1.3 运行 2.2 故障转移2.2.1 需求2.2.2 配置2.2.3 运行 1. 组件简介 Sink Processors类型包括这三种：Default Sink Processor、Load balanc
阅读全文
摘要：文章目录 1. 组件简介2. 项目实践2.1 Replicating Channel Selector实践2.1.1 需求2.1.2 配置2.1.3 运行 2.2 Multiplexing Channel Selector实践2.2.1 需求2.2.2 配置2.2.3 运行 1. 组件简介 通俗来讲
阅读全文
摘要：文章目录 1. 写在前面2. 组件简介3. 项目实践3.1 需求3.2 配置3.3 运行及结果 1. 写在前面 Flume的核心组件包括：Source、Channel和Sink；高级组件包括Source Interceptors、Channel Selectors和Sink Processors，具
阅读全文
摘要：文章目录 1. 需求2. 分析3. 配置3.1 配置机器A-bigData023.2 配置机器B-bigData033.3 配置机器C-bigData04 4. 执行4.1 模拟网站日志输出4.2 执行结果 1. 需求 将机器A（bigData02）和机器B（bigData03）两台机器实时产生的日
阅读全文
摘要：文章目录 1. 需求2. 配置2.1 Source2.2 Channel2.3 Sink2.4 完整的配置代码 3. 实践 1. 需求 使用Flume从文件夹中采集数据并上传到HDFS中。要完成这个任务就需要使用在采集数据时使用Spooling Directory Source组件；传输数据时为了保
阅读全文
摘要：文章目录 1. Flume是什么2. Flume三大组件3. Flume高级应用场景3.1 多路复用3.2 整合 4. 示例实践4.1 配置4.2 运行4.2.1 运行结果输出4.2.2 设置后台运行 1. Flume是什么 Flume是一个高可用，高可靠，分布式的海量日志采集、聚合和传输的系统，能
阅读全文
