随笔分类 -  Flume

flume 拦截器
摘要：目的：功能1：判断json文件，如何格式合格则正常传输，否则就不传输 功能2：判断出合格的json文件，并且key值中包含“date”才进行传输 一、创建一个Json的工具类 package com.atguigu.gmall.flume.utils; import com.alibaba.fast 阅读全文
posted @ 2022-11-01 11:53 欣欣姐 阅读(157) 评论(0) 推荐(0) 编辑
flume监控本地文件并上传至HDFS
摘要：1. flume将本地日志按时间读取上传到hdfs上，编辑配置文件 file_wfbmall_log_hdfs.conf，其内容如下 a1.sources = r1 a1.sinks = k1 a1.channels = c1 a1.sources.r1.type = TAILDIR // posi 阅读全文
posted @ 2021-05-18 14:17 欣欣姐 阅读(649) 评论(0) 推荐(0) 编辑
flume实时读取文件到kafka
摘要：背景：需要实时读取log日志文件中的记录到kafka 1.zookeeper服务需要开启，查看zookeeper的状态，（zookeeper的安装及启动过程可查看 https://www.cnblogs.com/cstark/p/14573395.html） [root@master kafka_2 阅读全文
posted @ 2021-03-29 11:19 欣欣姐 阅读(654) 评论(0) 推荐(0) 编辑
Flume的安装与配置
摘要：1.背景 在hadoop集群上安装flume，将日志数据传输到HDFS上去 2.规划 三台主机的主机名分别为master,slave1,slave2(防火墙已关闭) 由slave1和slave2收集日志信息,传给master,再由master上传到hdfs上 3.配置 3.1上传解压 在slave1 阅读全文
posted @ 2021-03-09 17:58 欣欣姐 阅读(739) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示