04 2023 档案

摘要:HBase优化HBase 优化 Region的分裂策略 region中存储的是一张表的数据,当region中的数据条数过多的时候,会直接影响查询效率。当region过大的时候,region会被拆分为两个region,HMaster会将分裂的region分配到不同的regionserver上,这样可以让请求分散到不 阅读全文
posted @ 2023-04-28 11:01 kali的梦想 阅读(98) 评论(0) 推荐(0) 编辑
摘要:HBase架构一、概述 HBase是基于列式存储的分布式数据库,底层存储采用的是LSM树,是Hadoop生态下核心技术之一。 1.1 架构图 1.2 组件介绍 HBase由三种类型的服务器以主从模式构成: Region Server:负责数据的读写服务,用户通过与Region server交互来实现对数据的访问。 阅读全文
posted @ 2023-04-24 11:17 kali的梦想 阅读(408) 评论(0) 推荐(0) 编辑
摘要:HIVE窗口函数前言:我们在学习hive窗口函数的时候,一定要先了解窗口函数的结构。而不是直接百度sum() over()、row_number() over()、或者count() over()的用法,如果这样做,永远也掌握不到窗口函数的核心,当然我刚开始的时候也是这样做的,包括去年自己在接触ORACLE分析函数 阅读全文
posted @ 2023-04-20 21:04 kali的梦想 阅读(29) 评论(0) 推荐(0) 编辑
摘要:数据仓库## 一、数据库、数据仓库概述 > 如今,随着诸如互联网以及物联网等技术的不断发展,越来越多的数据被生产出来-据统计,每天大约有超过2.5亿亿字节的各种各样数据产生。这些数据需要被存储起来并且能够被方便的分析和利用。>> 随着大数据技术的不断更新和迭代,数据管理工具得到了飞速的发展,相关概念如雨后春 阅读全文
posted @ 2023-04-11 20:05 kali的梦想 阅读(20) 评论(0) 推荐(0) 编辑
摘要:hadoop优化# Hadoop优化 ## 案例、天气预报 > 随机生成温度代码 ```java package com.shujia.weather; import java.text.DateFormat; import java.text.ParseException; import java.text.Si 阅读全文
posted @ 2023-04-11 18:22 kali的梦想 阅读(13) 评论(0) 推荐(0) 编辑