摘要:
一、Flume简介 flume 作为 cloudera 开发的实时日志收集系统,受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG(original generation),属于 cloudera。 但随着 FLume 功能的扩展,Flume OG 代码工程臃肿、核 阅读全文
摘要:
Kafka简介 概述 Kafka是最初由Linkedin公司开发,是一个分布式、分区的、多副本的、多订阅者,基于zookeeper协调的分布式日志系统(也可以当做MQ系统),常见可以用于web/nginx日志、访问日志,消息服务等等,Linkedin于2010年贡献给了Apache基金会并成为顶级开 阅读全文
摘要:
一、GoldenGate介绍 GoldenGate软件是一种基于日志的结构化数据复制软件。GoldenGate 能够实现大量交易数据的实时捕捉、变换和投递,实现源数据库与目标数据库的数据同步,保持亚秒级的数据延迟。 GoldenGate能够支持多种拓扑结构,包括一对一,一对多,多对一,层叠和双向复制 阅读全文
摘要:
1、OLTP 即联机事务处理,即为关系型数据库,记录了实时的增删改查数据。 2、OLAP 即联机分析处理,是数据仓库的核心,对OLTP的历史数据进行加工、分析处理,用于处理商务智能、决策支持等重要的决策信息。 3、DSS 即以人机交互方式进行半结构化或非结构化决策的计算机应用系统。 三者关联及区别 阅读全文