HBase为什么查询快
摘要：HBase为什么可以实现毫秒级查询？ 大数据量的快速查询 HBase的region经过负载均衡，region相对均匀，每次只需要通过zk找到meta表，进而连接到所需的region。减少了数据的读取量。 HBase是按列族存储的，可以根据列族进一步减少读取的数据量。 HBase的row key是经过
阅读全文
posted @
2022-09-06 19:04
茶倌
阅读(731)
推荐(0) 编辑
HBase二级索引
摘要：Phoenix 二级索引 可以将全表扫描优化为范围扫描 全局索引 将全表扫描转化为范围扫描。 额外创建一个表，作为索引表。 当创建了全局索引，先去利用算法找所要查询的列， 默认的索引格式 创建全局索引时，会在HBase中建立一张新表。 索引数据和数据表是存放在不同的表中。 全局索引适用于多读少写的场
阅读全文
posted @
2022-09-06 18:57
茶倌
阅读(281)
推荐(0) 编辑
Flink总结
摘要：Flink总结 从头儿过一遍书，做了些摘要。SQL那里还没仔细复习。 一、初始Flink 核心目标：数据流上的有状态计算 具体定位：以内存执行速度（速度快）和任意规模来执行计算（可扩展性强） -> 小松鼠快速灵巧 有状态的流处理可用于许多不同场景： 事件驱动型应用：以Kafka为代表的消息队列几乎都
阅读全文
posted @
2022-08-14 20:20
茶倌
阅读(221)
推荐(0) 编辑
从芒果分装角度---看MapReduce流程
摘要：从芒果分装角度-看MapReduce流程 背景 有一芒果产销基地，园区内有芒果种植园(产), 芒果分装库(装)，芒果销路(销)。 芒果种植园即HDFS中的文件，这个种植园规模很大，有不同的山头，假设一个山头一个分区。 芒果的品质不同、个头不同、成熟度不同，价格和可以销往的地点不同。 芒果产销基地需要
阅读全文
posted @
2022-08-02 16:45
茶倌
阅读(42)
推荐(0) 编辑
《HDFS源码剖析》--初品ing
摘要：HDFS HDFS概述 HDFS是Hadoop 分布式文件系统，可以运行在通用硬件上、提供流式数据操作、能够处理超大文件的分布式文件系统。HDFS具有高度容错、高吞吐量、容易扩展、高可靠性等特征。 HDFS是一个主/从体系结构的分布式系统，拥有1个Namenode和多个Datanodes，用
阅读全文
posted @
2022-07-31 13:24
茶倌
阅读(665)
推荐(0) 编辑
Hive on Spark配置 & DBeaver连接Hive & Hive启动脚本 & Hive练习SQL
摘要：配置 写的挺好，包含了spark配置，hive on spark 以及 spark on hive Hive on Spark 配置 DBeaver连接Hive Hive启动脚本 DBeaver需要启动hiveserver2等组件。 HQL 50 题 刷题链接
阅读全文
posted @
2022-07-29 13:11
茶倌
阅读(237)
推荐(0) 编辑
DBeaver配置Hive连接(转)
摘要：https://blog.csdn.net/weixin_44374374/article/details/123957815
阅读全文
posted @
2022-07-26 10:52
茶倌
阅读(31)
推荐(0) 编辑
HBase数据结构、存储结构
摘要：HBase数据结构、存储结构 一直都说HBase是稀疏的，列式数据库，但是一直不太明白，HBase的列式存储是怎么编排的。 稀疏：没有值的列不存储。 列式：对于相同row key的数据，数据按列族分块，每个块内是按照时间戳降序、且列存的。 官方文档：可以把HBase的表想象成一个多维的Map，列族是
阅读全文
posted @
2022-07-25 14:31
茶倌
阅读(113)
推荐(0) 编辑
NoSQL,关系型数据库,行列数据库对比、类比
摘要：数据库对比、类比 关系型数据库、NoSQL 关系型数据库 表与表之间有关系。表存储一些格式化的数据结构，每个元组字段的组成都一样，这样便于表之间的联结操作。不过也限制了其性能瓶颈。 更支持SQL，支持复杂计算 NoSQL 表与表之间没有直接关系，创建不用遵循三范式，以键值对存储，结构不固定，可以减少
阅读全文
posted @
2022-07-25 12:20
茶倌
阅读(555)
推荐(0) 编辑
