摘要：
自定义MySQLSource 1 自定义Source说明 Source是负责接收数据到Flume Agent的组件。Source组件可以处理各种类型、各种格式的日志数据，包括avro、thrift、exec、jms、spooling directory、netcat、sequence generat 阅读全文
摘要：
多数据源汇总案例 1） 案例需求： hadoop103上的flume-1监控文件hive.log， hadoop104上的flume-2监控某一个端口的数据流， flume-1与flume-2将数据发送给hadoop102上的flume-3，flume-3将最终数据打印到控制台 2）需求分析： 3） 阅读全文
摘要：
一、单数据源多出口案例1 1）案例需求： 使用flume-1监控文件变动，flume-1将变动内容传递给flume-2，flume-2负责存储到HDFS。 同时flume-1将变动内容传递给flume-3，flume-3负责输出到local filesystem。 2）需求分析： 3）实现步骤： 0 阅读全文
摘要：
实时读取目录文件到HDFS案例 1）案例需求：使用flume监听整个目录的文件 2）需求分析： 创建一个文件 [jason@hadoop102 job]$ vim flume-dir-hdfs.conf 添加如下内容 a3.sources = r3 #定义source a3.sinks = k3 # 阅读全文
摘要：
1）案例需求：实时监控Hive日志，并上传到HDFS中 2）需求分析： 3）实现步骤： Flume要想将数据输出到HDFS，必须持有Hadoop相关jar包 将commons-configuration-1.6.jar、 hadoop-auth-2.7.2.jar、 hadoop-common-2. 阅读全文
摘要：
判断44444端口是否被占用 [jason@hadoop102 flume-telnet]$ sudo netstat -tunlp | grep 44444 功能描述：netstat命令是一个监控TCP/IP网络的非常有用的工具，它可以显示路由表、实际的网络连接以及每一个网络接口设备的状态信息。 阅读全文
摘要：
1、Flume概念 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。 Flume很多时候和storm以及spark streaming等流式处理框架结合使用。 Flume最主要的作用就是，实时读取服务器本地磁盘的数据 阅读全文