业务场景 teacher表中的tech_class字段存储的是每个老师所教授的课程，课程之间以英文逗号分隔。现在要用语句统计每个课程对应的教师数量。语句及效果如下： 语句其实很简单，各种博客或者gpt都有不错且可行的解决方案，我们主要来理解下这段语句的执行原理，更好的学习。 part1 REGEXP ...

分布式锁 概述 分布式锁指的是，所有服务中的所有线程都去获取同一把锁，但只有一个线程可以成功的获得锁，其他没有获得锁的线程必须全部等待，直到持有锁的线程释放锁。 分布式锁是可以跨越多个实例，多个进程的锁 分布式锁具备的条件： 互斥性：任意时刻，只能有一个客户端持有锁 锁超时释放：持有锁超时，可以释放 ...

从架构到成本，SQL Server 和 PostgreSQL 四大区别全方位解析！ 今天我想分享 SQL Server 和 PostgreSQL 之间的四大关键区别。 在比较 SQL Server 和 PostgreSQL 这两种最常用的关系数据库管理系统（RDBMS）时，它们在架构、日志机制、并发 ...

1. 在数据平台中建立信任 1.1. 确保产品目标与业务目标保持一致 1.1.1. 几十年来，数据平台被视为实现目标的手段，而不是“终极目标”​ 1.1.1.1. 数据不被当作核心产品来构建 1.2. 寻求适合的利益相关方的反馈与认可 1.2.1. 在整个产品开发过程中获得前期认可并得到迭代反馈是构 ...

作者 | 白鲸开源 姜维 在数据集成和调度的领域，Informatica曾经是公认的权威工具。其强大的ETL功能、多年积累的市场经验，使其成为众多企业数据处理的核心工具。 然而，随着新一代大数据平台的迅速崛起，以及信创化改造的要求愈发严格，Informatica在现今复杂多变的生产环境中逐渐显现出不 ...

本文介绍如何在向量检索时将结果按照字段值进行分组返回。 背景介绍 在向量检索的实际应用中，有些场景需要将向量检索的结果分组返回。例如： 在RAG中，一篇文档往往需要拆分为多个段落，每个段落生成一个向量存入DashVector。在向量检索时，为了结果的多样性，不希望所有结果都来自同一篇文档的段落，而是 ...

Redis为什么这么快？ 完全基于内存，数据存在内存中，绝大部分请求是纯粹的内存操作，非常快速，跟传统的磁盘文件数据存储相比，避免了通过磁盘IO读取到内存这部分的开销。 数据结构简单，对数据操作也简单。【Redis中的数据结构】是专门进行设计的，每种数据结构都有一种或多种数据结构来支持。Redis正 ...

1. 普及数据质量 1.1. 随着企业摄取越来越多的数据，数据分析也逐渐成为企业战略的重要组成部分，对高质量数据的需求只会不断增加，这给数据工程师、分析工程师，甚至数据分析师都带来了压力，要求他们承担起这个重要但富有挑战性的任务 1.2. 只有整个公司都认为数据是可信的，才能实现数据信任 1.2.1 ...

[20241121]测试软软解析遇到的疑惑.txt--//测试软软解析遇到的疑惑，就是大量软软解析以及分散执行两者的执行时间差别并不是很大，有点疑惑，展开分析看看。1.环境：SCOTT@book01p> @ver2 PORT_STRING : x86_64/Linux 2.4.xxVERSION : ...

1. 数据沿袭 1.1. MyDoom的病毒 1.2. 现在，许多团队甚至整个公司都在使用数据，这要求数据管理的方式要更便于合作，同时也更不容许发生错误 1.3. 从采用dbt和Apache Airflow等开源工具来实现数据转换和编排，到使用Snowflake和Databricks等云端数据仓库和 ...

背景为什么要使用AI进行简历筛选？效率： AI工具比人类招聘人员更快地处理简历，减少招聘时间。减少偏见： AI有助于消除无意识偏见，确保更公平的招聘实践。成本效益： 自动化筛选流程可以显著降低招聘成本。改进候选人匹配： AI通过数据分析提高候选人与职位角色匹配的准确性。AI简历筛选工具的关键特性自动 ...

1. 解决 1.1. 当你发现数据出了故障，并且了解到它的初步影响时，下一步（有时甚至在根因分析之前）就是要解决这个问题，并且和利益相关方沟通，协商接下来该怎么做 1.2. 在事故解决后，无论是通过修改代码、数据或者运行环境中的哪种方式，数据团队都应该与受到影响的各方及时沟通，并在接下来的几天安排一 ...

内存引擎和InnoDB引擎在数据组织方式上存在显著差异。InnoDB引擎将数据存储在主键索引上，而内存引擎则将数据和索引分开存放。导致了内存表的数据是按照写入顺序存放的，而InnoDB表的数据总是有序存放的。此外，内存表不支持行锁，只支持表锁，这会影响并发访问的性能。尽管内存引擎速度快且支持hash... ...

为了优化 Java Spark 服务，尝试了各种办法和各种参数组合。 为什么要优化 现网有个spark服务，白天数据量大，积压数据，夜间数据量小，再把积压的数据处理完，虽然达到了平衡，保证了每天的数据能处理完，但白天的数据处理延迟比较大。 数据积压的原因 接手这个服务以来，我一直以为是因为下载图片耗 ...

近日，由中央网信办信息化发展局指导，中国互联网发展基金会、中国网络空间研究院和中国互联网投资基金联合主办的“2024中国互联网发展创新与投资大赛（开源）”总结发布活动在北京圆满落下帷幕。本届大赛以“开源创新，共建生态”为主题，旨在推动开源生态的高质量发展，选拔优秀开源项目，促进技术创新与人才培养。 ...

近日，由中央网信办信息化发展局指导，中国互联网发展基金会、中国网络空间研究院和中国互联网投资基金联合主办的“2024中国互联网发展创新与投资大赛（开源）”总结发布活动在北京圆满落下帷幕。本届大赛以“开源创新，共建生态”为主题，旨在推动开源生态的高质量发展，选拔优秀开源项目，促进技术创新与人才培养。 ...

# mysql 集群架构1. master-slave 架构模式 高可用： master 挂了，slave 可提升为 master，对位提供服务。2. 复制模式 异步复制、半同步复制、全同步复制。 异步复制：不需要等待 slave 将 binlog 日志同步到 relay log 中，就提交事务。 ...

事务槽（不同于事务表里面的槽位（这个事务槽在数据块的头部）） 图解： 一个事务开始，要做的事情： 第一，事务表里面找槽位（undo段的段头块里有事务表，事务表有槽位，每一个槽位记录一个事务）； 事务表里的槽位里记录的信息有： 1、xid（事务ID）：(undo段的段号，段里面的第几个槽（槽号），覆盖 ...

【GreatSQL优化器-04】贪婪搜索算法浅析 一、贪婪搜索（greedy_search）介绍 GreatSQL的优化器用greedy_search方法来枚举所有的表连接场景，然后从中根据最小cost来决定最佳连接顺序。这里面就涉及每种场景的cost计算方法，不同计算方法会导致不同的排序结果。 因 ...

与关系型数据库事务的区别 Redis事务是指将多条命令加入队列，一次批量执行多条命令，每条命令会按顺序执行，事务执行过程中不会被其他客户端发来的命令所打断。也就是说，Redis事务就是一次性、顺序性、排他性的执行一个队列中的一系列命令。 Redis事务和关系型数据库的事务不太一样，它不保证原子性，也 ...