2023年12月12日
Prometheus 快速入门
摘要： Prometheus 快速入门 Prometheus&Grafana快速入门 一、prometheus简介 prometheus是监控多个大数据组件的监控系统。Prometheus是由SoundCloud开发的开源监控报警系统和时序列数据库(TSDB)。Prometheus使用Go语言开发，是Google BorgMon监控系统的 阅读全文
posted @ 2023-12-12 20:32 戴莫先生Study平台 阅读(211) 评论(0) 推荐(0) 编辑
2023年11月29日
数据仓库理论
摘要： 数据仓库理论 数据仓库理论 数仓是一种思想，数仓是一种规范，数仓是一种解决方案！ 1、数据处理方式 数据处理大致可以分为两大类:联机事务处理:OLTP(On_Line Transaction Processing)、联机分析处理OLAP(On_Line Analytical Processing) OLTP(On 阅读全文
posted @ 2023-11-29 16:06 戴莫先生Study平台 阅读(57) 评论(0) 推荐(0) 编辑
2023年11月25日
DataX快速入门
摘要： DataX快速入门 DataX3.0快速入门 一、DataX3.0概览 DataX是阿里云DataWorks数据集成的开源版本，在阿里巴巴集团内部被广泛使用的离线数据同步工具/平台。解决了数据库之中的数据同步、迁移问题，把网状结构转为星型结构，主要用于数据库之间传送业务数据。 为了解决异构数据源同步问题，DataX将复 阅读全文
posted @ 2023-11-25 23:22 戴莫先生Study平台 阅读(223) 评论(0) 推荐(0) 编辑
Flume快速入门
摘要： Flume快速入门 Flume快速入门 一、简介 高可用、高可靠，分布式的海量日志采集、聚合和传输系统，基于流式架构，灵活简单。 event:事件 source:数据源 sink:目标 channel:数据管道 通过获取数据源转化为事件进入数据管道，在数据管道通过中流向目标对象(HDFS、HBase、MySQL等)进行 阅读全文
posted @ 2023-11-25 23:20 戴莫先生Study平台 阅读(34) 评论(0) 推荐(0) 编辑
2023年11月20日
HBase快速入门
摘要： HBase快速入门 HBase快速入门 一、基本概念 Apache HBase（Hadoop DataBase）是一个开源的、高可靠性、高性能、面向列（这里指列族，非列式存储）、可伸缩、实时读写的分 布式数据库，其设计思想来源于 Google 的 BigTable 论文。利用 Hadoop HDFS 作为其文件存储系统 阅读全文
posted @ 2023-11-20 16:19 戴莫先生Study平台 阅读(170) 评论(0) 推荐(0) 编辑
Spark Core快速入门
摘要： Spark Core快速入门 Spark-core快速入门 一、简介 Apache spark是专门为大规模数据处理而设计的快速通用的计算模型,是一种类似于Mapreduce通用并行计算框架，与mapreduce不同的是，spark中间输出数据可以缓存在内存中，不需要读取HDFS，减少磁盘数据交互，spark也被称为基于内存的分 阅读全文
posted @ 2023-11-20 10:29 戴莫先生Study平台 阅读(150) 评论(0) 推荐(0) 编辑
Spark SQL快速入门
摘要： Spark SQL快速入门 Spark SQL快速入门 1、概述 spark SQL是Apache用于处理结构化数据的模块。其中包含SQL、DataFrame API、DataSet API，意味着开发人员可以在不同的API之间来回切换，从而使数据处理更加灵活。 Spark SQL(Spark on hive) 数据兼容方面S 阅读全文
posted @ 2023-11-20 10:27 戴莫先生Study平台 阅读(215) 评论(0) 推荐(1) 编辑
Spark Streaming快速入门
摘要： Spark Streaming快速入门 Spark Streaming快速入门 一、简介 Spark Streaming 是构建在 Spark Core 基础之上的流处理框架（但实际上是微批次处理框架），是 Spark 非常重要的组成部分。严格意义上来讲，Spark Streaming 是一个准实时，微批次的流处理框架。 特点：Easy 阅读全文
posted @ 2023-11-20 10:26 戴莫先生Study平台 阅读(44) 评论(0) 推荐(0) 编辑
2023年11月5日
Zookeeper快速入门
摘要： Zookeeper快速入门 Zookeeper快速入门 核心：1、zookeeper自己如何选主的？ ​ 2、zookeeper如何帮别人选主的？ 1、集群与分布式 一、集群：将一个任务部署在多个服务器，每个服务器都能独立完成该任务。 二、分布式：将一个任务拆分成若干个子任务，由若干个服务器分别完成这些子任务，每个服务器只能完 阅读全文
posted @ 2023-11-05 21:55 戴莫先生Study平台 阅读(68) 评论(0) 推荐(0) 编辑
hive快速入门
摘要： hive快速入门 hive快速入门 一、简介 hive是facebook，用于解决海量结构化数据的统计分析，现在属于apache软件基金会。hive是一个构建在hadoop之上的数据分析工具，hive没有存储数据的能力只有使用数据的能力，底层是由HDFS来提供数据存储，可以将结构化的数据映射为一张数据表，并且提供类似 阅读全文
posted @ 2023-11-05 21:52 戴莫先生Study平台 阅读(147) 评论(0) 推荐(0) 编辑