随笔分类 -  【吗喽的搬砖日常】 / Flume

Flume - [08] 绝密档案Ⅰ
摘要：题记部分 （1）Flume使用场景 线上数据一般主要是落地（存储到磁盘）或者通过socket传输给另一个系统，这种情况下，你很难推动线上应用或服务去修改接口，实现直接向kafka里写数据，这时候你可能就需要flume这样的系统帮你去做传输。 （2）Flume丢包问题 单机upd的flume sour 阅读全文
posted @ 2024-07-01 16:01 HOUHUILIN 阅读(7) 评论(0) 推荐(0) 编辑
Flume - [05] Hbase sink
摘要：一、概述 此接收器将数据写入Hbase。Hbase配置是从类路径中遇到的第一个Hbase-site.xml获取的。由配置指定的实现 HbaseEventSerializer 的类用于将事件转换为 hbase、put和/或增量。然后将这些put和增量写入hbase。此接收器提供与hbase相同的一致性 阅读全文
posted @ 2024-03-20 20:26 HOUHUILIN 阅读(40) 评论(0) 推荐(0) 编辑
Flume - [04] Hive Sink
摘要：一、概述 HIVE Sink 将包含分割文本或JSON数据的事件直接流到Hive表或分区中。事件是使用Hive事务编写的。一旦一组事件被提交到Hive，它们就会立即对hive查询可见。流到其中的分区可以是预先创建的，也可以是可选的，如果它们丢失了，可以创建它们。传入事件数据中的字段映射到Hive标中 阅读全文
posted @ 2024-03-20 20:16 HOUHUILIN 阅读(63) 评论(0) 推荐(0) 编辑
Flume - [03] HDFS Sink
摘要：一、概述 将事件写入 Hadoop 分布式文件系统（HDFS）。目前支持创建文本和序列文件。支持两种文件类型的压缩。可以根据经过的时间、数据大小或事件数 周期性地滚动文件（关闭当前文件并创建文件）。根据事件起源的时间戳或机器等属性对数据进行存储/分区。HDFS目录路径可能包好格式转义序列，这些转义序 阅读全文
posted @ 2024-03-20 20:11 HOUHUILIN 阅读(106) 评论(0) 推荐(0) 编辑
Flume - [02] Spooling Directory Source
摘要：一、概述 可以通过将文件放入磁盘上的 "Spooldir" 目录中来获取数据。此源会监视指定目录中的新文件，并在新文件出现时解析新文件中的事件。事件解析逻辑是可插入的。在将指定文件完全读取到通道后，默认情况下通过重命名文件来指示文件来指示完成，或者可以删除它，或者使用 trackerDir 跟踪处理 阅读全文
posted @ 2024-03-20 20:04 HOUHUILIN 阅读(112) 评论(0) 推荐(0) 编辑
Flume - [01] 概述
摘要：一、什么是Flume Flume 是Cloudera提供的一个高可用，高可靠的，分布式的海量日志采集、聚合和传输的系统。 Flume最主要的作用就是：实时读取服务器本地磁盘的数据，将数据写入HDFS。 二、Flume 组成架构 Agent Agent 是一个 JVM 进程，它以事件的形式将数据从源头 阅读全文
posted @ 2023-05-19 16:33 HOUHUILIN 阅读(16) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示