摘要： Clickhouse-23.2.1.2537 学习 一、Clickhouse概述 clickhouse 官网网址：https://clickhouse.com/ ![image-20230526091704292](C:\Users\shujia\Desktop\课件\Clickhouse-23.2 阅读全文

摘要： 数据中台 1. 专有名词解释 业务过程： 指在业务中发生的最小单元的行为或事务，不可再拆分事件，比如创建订单，浏览网页等等。业务过程产生的行为明细， 比如支付了一笔订单，浏览了某个网页，最终都会汇集到事实表中，而大部分情况下，事实表都会聚焦于某个特定的业务 过程。 原子指标： 原子指标是对指标统计口 阅读全文

摘要： 数据仓库的学习 1. 分层设计 数仓分层阿里整体分为了5层，分别是ODS,DWD,DIM,DWS,ADS ODS（Operational Data Store） 面向主题的”数据运营层，也叫ODS层，是最接近数据源中数据的一层，数据源中的数据，经过抽取、洗净、传输，也就说传说中的 ETL 之后，装入 阅读全文

摘要： 阿里云开源离线同步工具DataX3.0 一. DataX3.0概览 DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 设计理念 为了解决异构数据源同步问题， 阅读全文

摘要： 分布式数据采集系统Flume学习 一、Flume架构 1.1 Hadoop业务开发流程 1.2 Flume概述 flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 支持在日志系统中定制各类数据发送方，用于收集数据; 同时，Flume提供对数据进行简单处理，并写到各种数据接受方( 阅读全文

摘要： HBase进阶与Phenix 一、HBase的读写流程 画出架构 1.1 HBase读流程 Hbase读取数据的流程： 1）是由客户端发起读取数据的请求，首先会与zookeeper建立连接 2）从zookeeper中获取一个hbase:meta表位置信息，被哪一个regionserver所管理着 h 阅读全文

摘要： Hbase之过滤器 HBase 的基本 API，包括增、删、改、查等。 增、删都是相对简单的操作，与传统的 RDBMS 相比，这里的查询操作略显苍白，只能根据特性的行键进行查询（Get）或者根据行键的范围来查询（Scan）。 HBase 不仅提供了这些简单的查询，而且提供了更加高级的过滤器（Filt 阅读全文

摘要： HBase进阶与API 一、Hbase shell 1、Region信息观察 创建表指定命名空间 在创建表的时候可以选择创建到bigdata17这个namespace中，如何实现呢？ 使用这种格式即可：‘命名空间名称:表名’ 针对default这个命名空间，在使用的时候可以省略不写 create ' 阅读全文

摘要： 目录HBase架构与基础命令一、了解HBase1.1 HBase概述1.2 HBase处理数据1.3 HBase与HDFS二、HBase相关概念2.1 分布式数据库2.2 列式存储2.3 稀疏性2.4 数据模型2.4.1 Hbase数据模型2.4.2 Hbase数据坐标2.4.3 HBase区域三、 阅读全文

摘要： hbase-2.2.7分布式搭建文档 1、上传解压配置环境变量 # 1、解压 tar -xvf hbase-2.2.7-bin.tar.gz.gz # 2、配置环境变量 vim /etc/profile # 3、在最后增加配置 export HBASE_HOME=/usr/local/soft/hb 阅读全文