引言 VTS（Vector Transport Service），全称向量传输服务，是一个由Zilliz开发的专注于向量和非结构化数据迁移的开源工具。VTS的核心特点在于其基于Apache SeaTunnel开发，这一事实使其在数据处理和迁移方面具有显著的优势。Apache SeaTunnel作为一 ...

Apache DolphinScheduler的JavaTask可以通过在任务执行日志中输出特定格式的参数来支持OUT参数的下游传输，通过捕捉日志并将其作为参数传递给下游任务。这种机制允许任务间的数据流动和通信，增强了工作流的灵活性和动态性。 那具体要怎么做呢？本文将进行详细的讲解。 0 修改一行源 ...

Kafka 概述 Kafka 起初是 由 LinkedIn 公司采用 Scala 语言开发的一个多分区、多副本且基于 ZooKeeper 协调的分布式消息系统，现已被捐献给 Apache 基金会。 目前 Kafka 已经定位为一个分布式流式处理平台，它以高吞吐、可持久化、可水平扩展、支持流数据处理等 ...

当 Apache DolphinScheduler 运行几个月后，大部分朋友会发现 Logs 下的运行日志越来越多，这时可以考虑清理下 Logs/ 目录下的日志文件，比如设置只保留最近 3 天的日志，怎么操作呢？ 可以通过执行以下三个命令来实现： find ./logs -type f -mtime ...

搭建MySQL主从复制后，你会发现复制账号的密码是明文存储在mysq.mysql.slave_master_info这张系统表的User_password字段当中，早期MySQL版本中，账号密码存储在master.info文件中。如下案例所示： mysql> select * from mysql. ...

业务场景 teacher表中的tech_class字段存储的是每个老师所教授的课程，课程之间以英文逗号分隔。现在要用语句统计每个课程对应的教师数量。语句及效果如下： 语句其实很简单，各种博客或者gpt都有不错且可行的解决方案，我们主要来理解下这段语句的执行原理，更好的学习。 part1 REGEXP ...

分布式锁 概述 分布式锁指的是，所有服务中的所有线程都去获取同一把锁，但只有一个线程可以成功的获得锁，其他没有获得锁的线程必须全部等待，直到持有锁的线程释放锁。 分布式锁是可以跨越多个实例，多个进程的锁 分布式锁具备的条件： 互斥性：任意时刻，只能有一个客户端持有锁 锁超时释放：持有锁超时，可以释放 ...

从架构到成本，SQL Server 和 PostgreSQL 四大区别全方位解析！ 今天我想分享 SQL Server 和 PostgreSQL 之间的四大关键区别。 在比较 SQL Server 和 PostgreSQL 这两种最常用的关系数据库管理系统（RDBMS）时，它们在架构、日志机制、并发 ...

1. 在数据平台中建立信任 1.1. 确保产品目标与业务目标保持一致 1.1.1. 几十年来，数据平台被视为实现目标的手段，而不是“终极目标”​ 1.1.1.1. 数据不被当作核心产品来构建 1.2. 寻求适合的利益相关方的反馈与认可 1.2.1. 在整个产品开发过程中获得前期认可并得到迭代反馈是构 ...

作者 | 白鲸开源 姜维 在数据集成和调度的领域，Informatica曾经是公认的权威工具。其强大的ETL功能、多年积累的市场经验，使其成为众多企业数据处理的核心工具。 然而，随着新一代大数据平台的迅速崛起，以及信创化改造的要求愈发严格，Informatica在现今复杂多变的生产环境中逐渐显现出不 ...

本文介绍如何在向量检索时将结果按照字段值进行分组返回。 背景介绍 在向量检索的实际应用中，有些场景需要将向量检索的结果分组返回。例如： 在RAG中，一篇文档往往需要拆分为多个段落，每个段落生成一个向量存入DashVector。在向量检索时，为了结果的多样性，不希望所有结果都来自同一篇文档的段落，而是 ...

Redis为什么这么快？ 完全基于内存，数据存在内存中，绝大部分请求是纯粹的内存操作，非常快速，跟传统的磁盘文件数据存储相比，避免了通过磁盘IO读取到内存这部分的开销。 数据结构简单，对数据操作也简单。【Redis中的数据结构】是专门进行设计的，每种数据结构都有一种或多种数据结构来支持。Redis正 ...

1. 普及数据质量 1.1. 随着企业摄取越来越多的数据，数据分析也逐渐成为企业战略的重要组成部分，对高质量数据的需求只会不断增加，这给数据工程师、分析工程师，甚至数据分析师都带来了压力，要求他们承担起这个重要但富有挑战性的任务 1.2. 只有整个公司都认为数据是可信的，才能实现数据信任 1.2.1 ...

[20241121]测试软软解析遇到的疑惑.txt--//测试软软解析遇到的疑惑，就是大量软软解析以及分散执行两者的执行时间差别并不是很大，有点疑惑，展开分析看看。1.环境：SCOTT@book01p> @ver2 PORT_STRING : x86_64/Linux 2.4.xxVERSION : ...

1. 数据沿袭 1.1. MyDoom的病毒 1.2. 现在，许多团队甚至整个公司都在使用数据，这要求数据管理的方式要更便于合作，同时也更不容许发生错误 1.3. 从采用dbt和Apache Airflow等开源工具来实现数据转换和编排，到使用Snowflake和Databricks等云端数据仓库和 ...

背景为什么要使用AI进行简历筛选？效率： AI工具比人类招聘人员更快地处理简历，减少招聘时间。减少偏见： AI有助于消除无意识偏见，确保更公平的招聘实践。成本效益： 自动化筛选流程可以显著降低招聘成本。改进候选人匹配： AI通过数据分析提高候选人与职位角色匹配的准确性。AI简历筛选工具的关键特性自动 ...

1. 解决 1.1. 当你发现数据出了故障，并且了解到它的初步影响时，下一步（有时甚至在根因分析之前）就是要解决这个问题，并且和利益相关方沟通，协商接下来该怎么做 1.2. 在事故解决后，无论是通过修改代码、数据或者运行环境中的哪种方式，数据团队都应该与受到影响的各方及时沟通，并在接下来的几天安排一 ...

内存引擎和InnoDB引擎在数据组织方式上存在显著差异。InnoDB引擎将数据存储在主键索引上，而内存引擎则将数据和索引分开存放。导致了内存表的数据是按照写入顺序存放的，而InnoDB表的数据总是有序存放的。此外，内存表不支持行锁，只支持表锁，这会影响并发访问的性能。尽管内存引擎速度快且支持hash... ...

优化 Java Spark 服务忙了整整一周，尝试了各种办法和各种参数组合。 为什么要优化 现网有个spark服务，白天数据量大，积压数据，夜间数据量小，再把积压的数据处理完，虽然达到了平衡，保证了每天的数据能处理完，但白天的数据处理延迟比较大。 数据积压的原因 接手这个服务以来，我一直以为是因为下 ...

近日，由中央网信办信息化发展局指导，中国互联网发展基金会、中国网络空间研究院和中国互联网投资基金联合主办的“2024中国互联网发展创新与投资大赛（开源）”总结发布活动在北京圆满落下帷幕。本届大赛以“开源创新，共建生态”为主题，旨在推动开源生态的高质量发展，选拔优秀开源项目，促进技术创新与人才培养。 ...