摘要:
多租户的定义 多租户(Multi - Tenancy)是一种软件架构技术,它使得单个软件实例能够为多个不同的用户组(即租户)提供服务。这些租户在使用软件系统时,感觉就像是在使用自己独占的系统,但实际上他们共享软件的基础设施、数据库、服务器等资源。例如,在一个基于云的企业资源规划(ERP)系统中,多个 阅读全文
posted @ 2024-12-17 15:33
软件职业规划
阅读(1200)
评论(0)
推荐(0)
摘要:
Apache Doris是一个基于MPP的现代化、高性能、支持实时的分析型数据库,以极速易用的特性被业内所熟知。以下是对它的详细介绍: 发展历程 Apache Doris最早是诞生于百度广告报表业务的Palo项目,2017年正式对外开源,2018年7月由百度捐赠给Apache基金会进行孵化,2022 阅读全文
posted @ 2024-12-17 15:31
软件职业规划
阅读(106)
评论(0)
推荐(0)
摘要:
定义与概述 IoTDB(Internet of Things Database)是一个专门为物联网(IoT)场景设计的时序数据库。它能够高效地处理海量的时序数据,时序数据是指按照时间顺序排列的数据,在物联网场景中,设备会不断地产生带有时间戳的数据,如传感器每隔一段时间就会采集温度、湿度等数据并发送到 阅读全文
posted @ 2024-12-17 15:28
软件职业规划
阅读(290)
评论(0)
推荐(0)
摘要:
实时数据集成CDL是一种基于Kafka Connect框架的高效数据处理服务,以下是关于它的详细介绍: 基本原理 CDL能够从各种OLTP数据库中捕获数据库的Data Change事件,如数据的插入、更新、删除等操作,并将这些事件推送到Kafka消息队列中,再由sink connector将数据从K 阅读全文
posted @ 2024-12-17 15:27
软件职业规划
阅读(73)
评论(0)
推荐(0)
摘要:
Ranger概述 Ranger是一个用于在Hadoop生态系统中进行统一权限管理的框架。它提供了集中式的安全策略管理,使得管理员可以轻松地定义和强制执行访问控制策略,涵盖了Hadoop集群中的各种组件,如HDFS、Hive、HBase等。 背景:在大数据环境中,随着数据量的增长和用户对数据访问需求的 阅读全文
posted @ 2024-12-17 15:24
软件职业规划
阅读(245)
评论(0)
推荐(0)
摘要:
Oozie概述 Oozie是一个用于管理和协调Hadoop作业的工作流调度系统。它允许用户将多个MapReduce、Pig、Hive等任务组合成一个有顺序的工作流,并且可以按照设定的时间间隔或特定的事件触发这些工作流的执行。 例如,一个数据处理的场景可能包括从数据源抽取数据(使用自定义的脚本或工具) 阅读全文
posted @ 2024-12-17 15:22
软件职业规划
阅读(38)
评论(0)
推荐(0)
摘要:
什么是Kafka Kafka是一个分布式的、分区的、多副本的、基于发布/订阅模式的消息队列系统。它最初由LinkedIn开发,后来成为Apache的开源项目。 主要用于处理大规模的实时数据,能够高效地处理大量的消息传递。例如,在一个电商平台中,用户的下单信息、商品浏览记录等数据可以通过Kafka进行 阅读全文
posted @ 2024-12-17 15:21
软件职业规划
阅读(31)
评论(0)
推荐(0)
摘要:
Redis是一个开源的(BSD许可)、内存中的数据结构存储系统,它可以用作数据库、缓存和消息中间件。以下是关于Redis作为分布式高速缓存的详细内容: 一、基本概念与特点 高速性能 Redis将数据存储在内存中,内存的读写速度远远高于磁盘。这使得Redis能够在极短的时间内处理大量的读写请求。例如, 阅读全文
posted @ 2024-12-17 15:20
软件职业规划
阅读(148)
评论(0)
推荐(0)
摘要:
Flink概述 Apache Flink是一个开源的流处理框架,它具有高吞吐、低延迟、容错性强等诸多优秀的特性。Flink的核心是一个提供数据分发、通信以及自动容错的流计算引擎。它可以处理有界(批处理)和无界(流处理)的数据,并且在流处理方面表现得尤为出色。 Flink的设计理念是将批处理看作是一种 阅读全文
posted @ 2024-12-17 15:19
软件职业规划
阅读(46)
评论(0)
推荐(0)
摘要:
Flume 概述 Flume是一个分布式、可靠且高可用的海量日志采集、聚合和传输的系统,它能够从不同的数据源(比如各种服务器上产生的日志文件等)实时地收集数据,并将这些数据高效地传输到诸如Hadoop的HDFS、HBase等数据存储或分析平台中,方便后续进行数据处理与分析等操作。 Flume 架构及 阅读全文
posted @ 2024-12-17 15:18
软件职业规划
阅读(83)
评论(0)
推荐(0)