Redis 大 Key 分析利器:支持 TOP N、批量分析与从节点优先
背景 Redis 大 key 分析工具主要分为两类: 1. 离线分析 基于 RDB 文件进行解析,常用工具是 redis-rdb-tools(https://github.com/sripathikrishnan/redis-rdb-tools)。 不过这个工具已近 5 年未更新,不支持 Redis ...
数据切片+隐私计算:让数数据流通既"分家"又"保密"
近期工作涉及到数据流通、隐私计算、数据切片、可行管控等,这块确实是知识盲区,抓紧去研究学习了下。 场景一:蛋糕店老板的烦恼 假设你开了一家连锁蛋糕店,每天产生海量数据:北京分店的草莓蛋糕销量、上海顾客的提拉米苏评价、深圳仓库的奶油库存...这些数据就像整个大蛋糕,直接吞下去会噎着。 数据切片就像精准 ...
三大平台云数据库生态服务对决
title: 三大平台云数据库生态服务对决 date: 2025/2/21 updated: 2025/2/21 author: cmdragon excerpt: 包含自动分片算法实现、跨云迁移工具链开发、智能索引推荐系统构建等核心内容,提供成本优化计算模型、灾备演练方案设计、性能调优路线图等完整 ...
sql统计最大连续增加条数
趋势特征是业务人员比较青睐的特征,其中涉及到连续变化期数,例如连续增大、减少期数等。这里写一下可以实现的思路。 1.使用变量 这个方法在我常用的sql平台中只有mysql支持。pgsql和hive无法实现。 在查询里声明select @var:=0,通过逻辑语句将起始位置置1,连续行处递增,和结束位 ...
CMU 15-445 23Fall总结
注:编译、测试之前运行sudo sysctl vm.mmap_rnd_bits=28 BusTub's architecture: 1. Query Processing (查询处理层) 负责将输入的 SQL 查询转化为可执行的物理查询计划。 Parser(解析器):将输入的 SQL 字符串解析为抽 ...
【YashanDB知识库】审计表UNIFIED_AUDIT_TRAIL出现YAS-00220 utf8 sequence is wrong
【问题分类】功能使用 【关键字】UNIFIED_AUDIT_TRAIL,YAS-00220 【问题描述】当审计对象的SQL语句包含非标准中文字符时,出现YAS-00220 utf8 sequence is wrong,影响审计记录。 --第一步:打开审计开关 SQL> ALTER SYSTEM SE ...
KES(KingBaseES)集群部署实战
今天我们将探讨关于KES(KingBaseES)的集群部署方案。作为示例,我们将以读写分离(RWC)集群为例,快速在本地进行部署和安装,并深入了解KES的部署流程。在本章中,我们将采用Windows平台上的可视化部署工具来进行集群的安装和配置。然而,由于硬件资源有限,本次演示仅展示单节点的成功部署, ...
KES的执行计划分析与索引优化
今天我们继续探讨国产数据库KES的相关内容,本次的讨论重点将放在SQL优化的细节上。作为Java开发人员,我们通常并不需要深入了解数据库的底层实现细节,而是更多地关注如何提升应用性能与数据库的交互效率。具体来说,工作中我们常常需要关注的优化策略包括查看SQL的执行计划和合理地建立索引。 今天我们就从 ...
【YashanDB知识库】通过触发器复制varchar(4000 char)列的数据导致乱码
本文内容来自YashanDB官网,原文内容请见 https://www.yashandb.com/newsinfo/7802969.html?templateId=1718516 问题现象 某客户在使用触发器将varchar(4000 char)列的数据从表A复制到表B时,表B上列的数据与A上对应列 ...
如何查看oceanbase数据库修改过的参数
OceanBase中没有像ORACLE或MySQL那样独立的参数文件,因此在进行数据库迁移的这种场景下,如何保持新老数据库的参数的一致成了OceanBase中的一个问题。这个问题其实也可以转化为如何查询OceanBase数据库中修改过的参数,我们需要找到那些和默认值不一致的参数,并以此在新数据库环境 ...
读图数据库实战笔记11读后总结与感想兼导读
1. 基本信息 图数据库实战 [ [美] 戴夫·贝克伯杰(Dave Bechberger) (美) 乔希·佩里曼著 人民邮电出版社,2021年10月出版 1.1. 读薄率 书籍总字数413千字,笔记总字数30938字。 读薄率30938÷413000≈7.49% 1.2. 读厚方向 Data Mes ...
读图数据库实战笔记10图分析
1. 图分析 1.1. 图分析和机器学习(ML)是进一步探索图时要探索的两个最常见领域 1.2. 寻路 1.2.1. 每一个特定的寻路算法的工作原理都略有不同,并且各有优缺点 1.2.2. 测向 1.2.2.1. 地理制图工具使用寻路算法的一些变体来提供方向 1.2.3. 优化问题 1.2.3.1. ...
Kafka服务端认证日志导致磁盘空间占满案例
背景 某IP为44.2的服务器挂载的硬盘 服务器磁盘空间占满突然故障排查过程查看docker容器磁盘SIZE查看docker容器 使用磁盘大小此目前单独挂载路劲/data/docker使用 du -sh * 查看, 发现kafka容器消耗91G空间查看具体容器,判断是kafkakafka容器状态是客 ...
读图数据库实战笔记09性能与反模式
1. 熵 1.1. 熵是物理学上的一个术语,本质上是一个系统“内在的混乱程度” 1.2. 是我们的敌人 2. 执行缓慢的遍历 2.1. 和关系数据库一样,图数据库对于执行缓慢的操作并不陌生 2.2. 图也有帮助诊断问题的工具 2.2.1. 解释一个遍历会做什么 2.2.2. 分析一个遍历做了什么 ...
读图数据库实战笔记08遍历与子图
1. 使用熟路构建遍历 1.1. 为了避免把开发遍历和构建应用程序混淆 1.1.1. 把遍历的编写和测试与应用程序的开发拆分成了两个独立的操作 1.1.2. 在Java代码之外独立开发遍历,然后把它们加入应用程序中 1.1.3. 现实情况是,大多数开发人员会同时完成两者,不管使用的是哪种数据库引擎 ...
读图数据库实战笔记07高级数据建模技术
1. 高级数据建模技术 1.1. 大多数现实生活中的应用程序(如推荐引擎或个性化应用程序)所需的模型比社交网络示例的单顶点、单边数据模型复杂得多 1.2. 三种高级数据建模技术 1.2.1. 使用通用标签提高性能 1.2.2. 将属性移动到边,以简化遍历 1.2.3. 对数据进行反规范化处理,以实现 ...
读图数据库实战笔记06开发应用程序
1. 开发应用程序 1.1. 在图中解决问题需要转换思维方式,从遍历图的角度思考问题 1.2. skeleton(骨架版本) 1.2.1. 不含任何代码的应用程序骨架,只有为方法预留的桩(stub)。 1.2.2. 适合想自己编写代码的读者 1.3. commented(注释版本) 1.3.1. ...
读图数据库实战笔记05格式化结果
1. 格式化结果 1.1. 在图中查找数据是一项技能,但是高效地返回数据则是一种全新的挑战 1.2. 最好在数据库层尽可能多地对数据进行处理 1.2.1. 客户端应用程序处理用户交互就够忙的了 1.3. 图数据库不返回元素属性,因此必须显式请求这些属性 2. 值操作 2.1. SELECT ROWI ...
【YashanDB知识库】如何将mysql含有group by的SQL转换成崖山支持的SQL
本文内容来自YashanDB官网,原文内容请见 https://www.yashandb.com/newsinfo/7610112.html?templateId=1718516 问题现象 以下SQL在MYSQL下均能执行成功,在崖山下执行报错。 SELECT Sname,Ssex, min(Sag ...
YashanDB演讲实录|别彬彬:金融科技对智能化创新系统的机遇与路径
本文为“2024国产数据库创新生态大会”深算院采石矶、钓鱼城系统技术总监别彬彬的演讲实录分享,主题为 《金融科技对智能化创新系统的机遇与路径》,欢迎阅读。 各位领导、嘉宾,下午好!非常荣幸今天能与大家一同探讨金融科技创新的话题。 智能化系统新范式:AI+ = 机器学习 + 逻辑规则 分享之前,我想先 ...