刷新
hive窗口分析函数使用详解系列一

博主头像 1.综述 Hive的聚合函数衍生的窗口函数在我们进行数据处理和数据分析过程中起到了很大的作用 在Hive中,窗口函数允许你在结果集的行上进行计算,这些计算不会影响你查询的结果集的行数。 Hive提供的窗口和分析函数可以分为聚合函数类窗口函数,分组排序类窗口函数,偏移量计算类窗口函数。 本节主要介绍聚 ...

Mac安装压缩版MySQL Server

博主头像 本文详细记录一次在Mac中安装MySQL Server的过程,安装环境如下: MacOS 14.4 x86, core i7 在MySQL数据库实验环境下通常都要安装其MySQL Server,安装方式五花八门,最简单的有通过系统包管理工具一键安装,例如apt和yum等,这种安装方法会使得MySQL ...

环境的搭建

博主头像 第4章 Hadoop文件参数配置 实验一:hadoop 全分布配置 1.1 实验目的 完成本实验,您应该能够: 掌握 hadoop 全分布的配置 掌握 hadoop 全分布的安装 掌握 hadoop 配置文件的参数意义 1.2 实验要求 熟悉 hadoop 全分布的安装 了解 hadoop 配置文件 ...

MySQL 主从复制

博主头像 概述 在主从复制中,一般有一个主数据库(Master)和一个或多个从数据库(Slave),主数据库负责接收和处理写操作,从数据库复制主数据库的日志文件,将写操作在自身的数据库重演,从而实现数据的同步 复制类型 STATEMENT:把主数据库执行的 sql 复制到从数据库,是默认类型 ROW:直接把数 ...

MyDumper/MyLoader的进阶玩法

一、前言 从mydumper v0.11.5版本开始,mydumper提供了--load-data参数,使用此参数导出的sql文件将不再是insert语句,而是load data语句。在MySQL官方文档中关于load data是这么描述的:When loading a table from a t ...

MySQL的多层SP中Cursor的m_max_cursor_index相关BUG分析

博主头像 源码分析丨MySQL的多层SP中Cursor相关BUG 一、问题发现 在一次开发中在sp中使用多层cursor的时候想知道每层的m_max_cursor_index值分别是多少,以用来做后续开发。于是做了以下的试验,但是发现第一个level=2那层的m_max_cursor_index的值有点问题。 ...

解密数仓的SQL ON ANYWHERE技术

博主头像 本文分享自华为云社区《GaussDB DWS的SQL ON ANYWHERE技术解密》,作者:tooooooooooomy。 1. 前言 适用版本:【8.1.1(及以上)】 查询分析是大数据要解决的核心问题之一,虽然大数据相关的处理引擎组件种类繁多,并提供了丰富的接口供用户使用,但相对传统数据库用户 ...

2024 开源数据工程生态系统全景图

博主头像 作者 | ALIREZA SADEGHI 翻译 | Debra Chen 简介 虽然生成式人工智能和ChatGPT带来的沸沸扬扬的炒作令科技界为之一振,但在数据工程领域,2023年仍然是一个令人振奋和充满活力的一年,数据工程生态系统变得更加多样化和复杂化,系统中的所有层面都在不断创新和演进。 随着各 ...

关于用栈和队列分别解决走迷宫问题的方法讨论(参与者:陈卓,毛敏磊)

博主头像 关于用栈和队列分别解决走迷宫问题 对于生活中最常见的小游戏——走迷宫,相信大家都不陌生,人为走相信大家都会走,但能不能用代码实现,我们认为是可以的,以下是我们对如何走迷宫的一些看法和代码实现(cz负责队列解决,mml负责用栈解决) 1.关于用队列解决: 先简单介绍一下队列:队列是一种操作受限的线性表 ...

探索GaussDB(DWS)湖仓融合:Hudi与元数据打通的深度解析

博主头像 华为云数仓GaussDB(DWS)研发专家高若岳老师,深入解析GaussDB(DWS)数据仓库如何与大数据生态快速对接。 随着智能数据时代的到来,数据量爆发式增长,数据形态呈海量化和多样化发展,不再是单一的结构化数据。从海量和多样化的数据做融合分析,创造更多业务价值的诉求日益强烈。在本期《Gauss ...

GreatSQL 优化技巧:将 MINUS 改写为标量子查询

博主头像 GreatSQL 优化技巧:将 MINUS 改写为标量子查询 前言 minus 指令运用在两个 SQL 语句上,取两个语句查询结果集的差集。它先找出第一个 SQL 所产生的结果,然后看这些结果有没有在第二个 SQL 的结果中,如果在,那这些数据就被去除,不会在最后的结果中出现,第二个 SQL 结果集 ...

GeminiDB Cassandra接口新特性FLASHBACK发布:任意时间点秒级闪回

博主头像 本文分享自华为云社区《GeminiDB Cassandra接口新特性FLASHBACK发布:任意时间点秒级闪回》,作者: GaussDB 数据库。 技术背景 数据库作为现代信息系统的核心组成部分,承担着存储、管理和检索大量数据的重要任务。然而,在实际的业务运行过程中,由于各种原因,数据库可能会出现异 ...

<1···678···50>