随笔分类 - 零-名词定义解析
生涩名词解析
摘要：1. 定义 JDK： Java Develpment Kit java 开发工具 JRE： Java Runtime Environment java运行时环境 JVM： java Virtual Machine java 虚拟机 2. 使用人群 jdk 是给开发人员使用的， jre和jvm是给普通
阅读全文
摘要：单机 一台电脑，针对小型业务把所有的代码都放在一个项目中，然后部署在一台服务器上。整个项目所有的服务都由这台服务器提供。 集群 多台电脑，做同一个业务，部署在多个服务器上 分布式 同一个业务划分不同子业务，分别部署在不同的服务器上 ZooKeeper 主要服务于分布式系统，可以用ZooKeeper来
阅读全文
摘要：数据采集 离线采集 sqoop datax 实时采集 canel Oracle GoldenGate（提供异构环境下交易数据的实时捕捉、变换、投递） 日志采集 Flume（实时采集、聚合、传输） Logstash Scribe 数据储存 分布式文件系统 hdfs（可创建、删除、移动或重命名文件） 键
阅读全文
摘要：Hadoop Hadoop生态圈，是一个以一种可靠、高效、可伸缩的方式进行处理的，能够对大量数据进行分布式处理的系统框架。 把它比作一个厨房所有需要的各种工具。 它的两大核心式HDFS和YARN。主要包括分布式文件管理系统HDFS、资源管理框架YARN，分布式计算框架MapReduce，分布式协作服
阅读全文
摘要：一、Flume简介 flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。 但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、核
阅读全文
摘要：Kafka简介 概述 Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开
阅读全文
摘要：一、GoldenGate介绍 GoldenGate软件是一种基于日志的结构化数据复制软件。GoldenGate 能够实现大量交易数据的实时捕捉、变换和投递，实现源数据库与目标数据库的数据同步，保持亚秒级的数据延迟。 GoldenGate能够支持多种拓扑结构，包括一对一，一对多，多对一，层叠和双向复制
阅读全文
摘要：1、OLTP 即联机事务处理，即为关系型数据库，记录了实时的增删改查数据。 2、OLAP 即联机分析处理，是数据仓库的核心，对OLTP的历史数据进行加工、分析处理，用于处理商务智能、决策支持等重要的决策信息。 3、DSS 即以人机交互方式进行半结构化或非结构化决策的计算机应用系统。 三者关联及区别
阅读全文
