架构艺术 - 博客园

2020年9月9日

摘要： MongoDB 5.1 什么是MongoDB MongoDB 是由C++语言编写的，是一个基于分布式文件存储的开源数据库系统。MongoDB 旨在为WEB应用提供可扩展的高性能数据存储解决方案。MongoDB 将数据存储为一个文档，数据结构由键值(key=>value)对组成。MongoDB 文档类阅读全文

posted @ 2020-09-09 18:10 架构艺术阅读(140) 评论(0) 推荐(0)

Flume拦截器-应用与配置

摘要： Flume最重要的组件是Source、Channel和Sink，另外，Flume Agent还有一些使Flume更加灵活的组件，如拦截器，Channel选择器，Sink组和Sink选择器。本文将讨论一下拦截器的应用。拦截器拦截器（Interceptor）是简单的插入式组件，设置在Source和S 阅读全文

posted @ 2020-09-09 10:34 架构艺术阅读(469) 评论(0) 推荐(0)

2020年9月8日

Flume正则表达式

摘要：常见正则表达式语法元字符描述 ^ 匹配输入字符串的开始位置。如果设置了RegExp对象的Multiline属性，^也匹配“\n”或“\r”之后的位置。 $ 匹配输入字符串的结束位置。如果设置了RegExp对象的Multiline属性，$也匹配“\n”或“\r”之前的位置。 * 匹配前面的子表达式阅读全文

posted @ 2020-09-08 19:57 架构艺术阅读(701) 评论(0) 推荐(0)

自定义MySQLSource

摘要：自定义MySQLSource 1 自定义Source说明 Source是负责接收数据到Flume Agent的组件。Source组件可以处理各种类型、各种格式的日志数据，包括avro、thrift、exec、jms、spooling directory、netcat、sequence generat 阅读全文

posted @ 2020-09-08 19:54 架构艺术阅读(389) 评论(0) 推荐(0)

Flume案例：多数据源汇总案例

摘要：多数据源汇总案例 1）案例需求： hadoop103上的flume-1监控文件hive.log， hadoop104上的flume-2监控某一个端口的数据流， flume-1与flume-2将数据发送给hadoop102上的flume-3，flume-3将最终数据打印到控制台 2）需求分析： 3）阅读全文

posted @ 2020-09-08 19:29 架构艺术阅读(418) 评论(0) 推荐(0)

Flume案例：2个案例单数据源多出口

摘要：一、单数据源多出口案例1 1）案例需求：使用flume-1监控文件变动，flume-1将变动内容传递给flume-2，flume-2负责存储到HDFS。同时flume-1将变动内容传递给flume-3，flume-3负责输出到local filesystem。 2）需求分析： 3）实现步骤： 0 阅读全文

posted @ 2020-09-08 18:08 架构艺术阅读(446) 评论(0) 推荐(0)

Flume案例：目录文件到HDFS

摘要：实时读取目录文件到HDFS案例 1）案例需求：使用flume监听整个目录的文件 2）需求分析：创建一个文件 [jason@hadoop102 job]$ vim flume-dir-hdfs.conf 添加如下内容 a3.sources = r3 #定义source a3.sinks = k3 # 阅读全文

posted @ 2020-09-08 15:03 架构艺术阅读(277) 评论(0) 推荐(0)

Flume案例：本地文件到HDFS

摘要： 1）案例需求：实时监控Hive日志，并上传到HDFS中 2）需求分析： 3）实现步骤： Flume要想将数据输出到HDFS，必须持有Hadoop相关jar包将commons-configuration-1.6.jar、 hadoop-auth-2.7.2.jar、 hadoop-common-2. 阅读全文

posted @ 2020-09-08 14:22 架构艺术阅读(230) 评论(0) 推荐(0)

netstat命令

摘要：判断44444端口是否被占用 [jason@hadoop102 flume-telnet]$ sudo netstat -tunlp | grep 44444 功能描述：netstat命令是一个监控TCP/IP网络的非常有用的工具，它可以显示路由表、实际的网络连接以及每一个网络接口设备的状态信息。阅读全文

posted @ 2020-09-08 11:36 架构艺术阅读(167) 评论(0) 推荐(0)

Flume-基础

摘要： 1、Flume概念 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。 Flume很多时候和storm以及spark streaming等流式处理框架结合使用。 Flume最主要的作用就是，实时读取服务器本地磁盘的数据阅读全文

posted @ 2020-09-08 11:31 架构艺术阅读(216) 评论(0) 推荐(0)