数据库
刷新
[postgres]序列

博主头像 前言 序列都是用create sequence命令创建的单行表，常用于为表的行生成唯一的标识符。 相关函数 函数 作用 nextval() 递增序列并返回新值 currval() 返回最近一次用nextval()函数获取的指定序列的值 lastval() 返回最近一次用nextval()函数获取的任 ...

Slave SQL线程与PXB FTWRL死锁问题分析

博主头像 1. 问题背景 2.27号凌晨生产环境MySQL备库在执行备份期间出现因FLUSH TABLES WITH READ LOCK未释放导致备库复制延时拉大，慢日志内看持锁接近25分钟未释放。 版本： MySQL 5.7.21 PXB 2.4.18 慢查询日志： 备份脚本中的备份命令： mysql_ki ...

SqlServer中根据某几列获取重复的数据将其删除并保留最新一条

有时候，我们某个数据表中，可能有几列的数据都是一样的，此时我们可能想查询出这几列数据相同的所有数据行，并保留最新一条，将其他重复的数据删除。 1、ROW_NUMBER函数 假设我们有如下数据表： 此时我们可以使用ROW_NUMBER函数，根据某几列查询出重复数据的新的排序列，该排序列就是根据某几 ...

OLAP开源引擎对比之历史概述

博主头像 前言 OLAP概念诞生于1993年，工具则出现在更早以前，有史可查的第一款OLAP工具是1975年问世的Express，后来走进千家万户的Excel也可归为此类，所以虽然很多数据人可能没听过OLAP，但完全没打过交道的应该很少。 这个概念主要是在大数据圈里流传，而在大数据领域里，目前主流的OLAP开 ...

SQL窗口分析函数使用详解系列三之偏移量类窗口函数

博主头像 1.综述 本文以HiveSQL语法进行代码演示。 对于其他数据库来说同样也适用，比如SparkSQL，FlinkSQL以及Mysql8，Oracle，SqlServer等传统的关系型数据库。 已更新第一类聚合函数类，点击这里阅读 ①SQL窗口函数系列一之聚合函数类 ②SQL窗口函数系列二之分组排序窗 ...

金融案例：统一查询方案助力数据治理与分析应用更高效、更安全

博主头像 随着企业数据规模的增长和业务多元化发展，海量数据实时、多维地灵活查询变成业务常见诉求。同时多套数据库系统成为常态，这既带来了数据管理的复杂性，又加大了数据使用的难度，面对日益复杂的数据环境和严格的数据安全要求，需要解决多数据库系统并存、数据孤岛严重、权限管理混乱和数据查询提取困难等问题。与此同时，企 ...

实战干货｜Spark 在袋鼠云数栈的深度探索与实践

博主头像 Spark 是一个快速、通用、可扩展的大数据计算引擎，具有高性能、易用、容错、可以与 Hadoop 生态无缝集成、社区活跃度高等优点。在实际使用中，具有广泛的应用场景： · 数据清洗和预处理：在大数据分析场景下，数据通常需要进行清洗和预处理操作以确保数据质量和一致性，Spark 提供了丰富的 API ...

MongoDB基础操作

博主头像 目录一、什么是MongoDB二、MongoDB 与关系型数据库对比三、数据类型四、部署MongoDB1、下载二进制包2、下载安装包并解压3、创建用于存放数据和日志的目录，并修改权限4、启动MongoDB4.1前台启动4.2后台启动4.3、配置文件启动服务4.4、配置systemd服务4.5、syst ...

SQL SERVER的字符类型使用Unicode

博主头像 字符编码和排序规则 下面的讨论用到W、王和三个字符，以下是这三个字符的各种编码 先看看不带N和带N的字符字面量各用什么编码，用Microsoft SQL Server Management Studio连接SQL SERVER 2022执行下面SQL语句： select N'W' charact ...

利用 Amazon EMR Serverless、Amazon Athena、Apache Dolphinscheduler 以及本地 TiDB 和 HDFS 在混合部署环境中构建无服务器数据仓库（一）云上云下数据同步方案设计

博主头像 引言 在数据驱动的世界中，企业正在寻求可靠且高性能的解决方案来管理其不断增长的数据需求。本系列博客从一个重视数据安全和合规性的 B2C 金融科技客户的角度来讨论云上云下混合部署的情况下如何利用亚马逊云科技云原生服务、开源社区产品以及第三方工具构建无服务器数据仓库的解耦方法。 Apache EMR（E ...

用DolphinScheduler轻松实现Flume数据采集任务自动化！

博主头像 转载自天地风雷水火山泽 目的 因为我们的数仓数据源是Kafka，离线数仓需要用Flume采集Kafka中的数据到HDFS中。 在实际项目中，我们不可能一直在Xshell中启动Flume任务，一是因为项目的Flume任务很多，二是一旦Xshell页面关闭Flume任务就会停止，这样非常不方便，因此必须 ...

对接HiveMetaStore，拥抱开源大数据

博主头像 本文分享自华为云社区《对接HiveMetaStore，拥抱开源大数据》，作者：睡觉是大事。 1. 前言 适用版本：9.1.0及以上 在大数据融合分析时代，面对海量的数据以及各种复杂的查询，性能是我们使用一款数据处理引擎最重要的考量。而GaussDB(DWS)服务有着强大的计算引擎，其计算性能优于MR ...

指标+AI：迈向智能化，让指标应用更高效

博主头像 近日，以“Data+AI，构建新质生产力”为主题的袋鼠云春季发布会圆满落幕，大会带来了一系列“+AI”的数字化产品与最新行业沉淀，旨在将数据与AI紧密结合，打破传统的生产力边界，赋能企业实现更高质量、更高效率的数字化发展。会上，袋鼠云业务总经理申杭带来了以“指标+AI：迈向智能化，让指标应用更高效” ...

GreatSQL统计信息相关知识点

博主头像 相关知识点： INNODB_STATS_PERSIST=ON或用STATS_PERSIST=1定义单个表时，优化器统计信息将持久化到磁盘。默认情况下，innodb_stats_persistent是启用的。 持久统计信息存储在mysql.innodb_table_stats和mysql.innodb ...

<1···444546···50>