数据库
刷新
DataOps for LLM 的数据工程技术架构实践

博主头像 导读 在 LLM 蓬勃发展的今天，数据工程已成为支持大规模 AI 模型训练的基石。DataOps 作为数据工程的重要方法论，通过优化数据集成、转换和自动化运维，加速数据到模型的闭环流程。本文聚焦新一代数据 & AI 集成工具- Apache SeaTunnel 在 DataOps 中的核心作用，并介 ...

Apache Dolphinscheduler数据质量源码分析

博主头像 Apache DolphinScheduler 是一个分布式、易扩展的可视化数据工作流任务调度系统，广泛应用于数据调度和处理领域。 在大规模数据工程项目中，数据质量的管理至关重要，而 DolphinScheduler 也提供了数据质量检查的计算能力。本文将对 Apache DolphinSchedu ...

2024年11月Navicat Premium最新版(17.1.5) MacOS版免费下载

该版本为MacOS专用，最新稳定版，相比旧版本，性能更高、资源占用更小、修复了频繁崩溃的bug。 navicat最新破解版本都需要关闭SIP，如何关闭可参考这篇文章 Navicat Premium 是一款非常强大的数据库管理工具，允许您在一个应用程序中同时连接到 MySQL、SQLite、Mongo ...

Mysql篇-语句执行计划详解(explain)

博主头像 概述 使用 explain 输出 SELECT 语句执行的详细信息，包括以下信息： 表的加载顺序 sql 的查询类型 可能用到哪些索引，实际上用到哪些索引 读取的行数 Explain 执行计划包含字段信息如下：分别是 id、select_type、table、partitions、type、poss ...

读数据质量管理：数据可靠性与数据质量问题解决之道08扩展异常检测

博主头像 1. Python和机器学习扩展异常检测 1.1. 机器学习有助于大规模数据可观测性和数据监控 1.1.1. 配备了机器学习的检测器可以更灵活地应用到更多的数据表上，从而消除了随着数据仓库或数据湖的增长进行手动检查和手动操作的需要 1.1.2. 机器学习检测器可以实时学习和适应数据，并且可以捕获到人 ...

[20241118]NLS_LANG设置问题2.txt

[20241118]NLS_LANG设置问题2.txt--//链接 https://www.itpub.net/thread-2155589-1-1.html上的讨论。--//PiscesCanon指出：--//NLS_LANG设置错了，如果你的客户端是sqlplus，那么应该是NLS_LANG=. ...

安装MySQL8数据库

安装MySQL8 MySQL Community Server 社区版本，开源免费，自由下载，但不提供官方技术支持，适用于大多数普通用户。 MySQL Enterprise Edition 企业版本，需付费，不能在线下载，可以试用30天。提供了更多的功能和更完备的技术支持，更适合于对数据库的功能和可 ...

Paimon Deletion Vector

博主头像 deletion vector 是通过一组向量, 维护一个文件中被删除的行, 可以理解为一种索引. 这种方式可以以 Merge On Write 的方式, 来避免 Merge On Read 的过程, 从而以写入性能换取读取性能. 对于写少读多, 或者对读取性能有更高要求的场景会比较适合. 避免 M ...

读数据质量管理：数据可靠性与数据质量问题解决之道07异常检测

博主头像 1. 监控和异常检测 1.1. 在数据方面，所有明面上的测试和数据质量检查都不能完全保护你免受数据宕机的影响 1.1.1. 宕机可能由于各种原因而出现在管道内部和外部的各个阶段 1.1.2. 这些原因通常与数据本身无关 1.2. 要了解数据何时中断，最好的做法是依靠数据监控，特别是异常检测技术 1. ...

达梦数据库数据类型的变更无效错误，如此解决妙啊

博主头像 前言 大家好，我是小徐啊。之前在做国产化改造，用到了达梦数据库。其中的一项工作就是将旧数据库里面的数据和结构迁移到达梦数据库。达梦提供了迁移的的工具，大部分时间是挺好用的。 但是这里也有问题，比如我原来的数据库是postgresql，将它迁移到达梦数据库之后，在运行程序的时候，直接报错了。错误的提示 ...

达梦数据库DM管理工具如何浏览数据，用条件筛选数据

博主头像 前言 大家好，我是小徐啊。达梦数据库是我们一款常用的国产数据库，我之前一直在使用它。用起来和mysql和postgresql比起来，还是差不多的。而且它自带了数据库连接工具DM管理工具，使我们很方便的连接它。 今天，小徐就来介绍下如何用DM管理工具浏览数据，并且用条件去筛选数据。手把手教学。 如何操 ...

第三十六讲：什么时候会使用内部临时表？

就两个点 在union语句中，内部临时表用于暂存数据并执行两个子查询的并集 第二：强调了通过索引优化group by语句的执行效率 如何group by优化查询？ 1.如果没有排序要求，要在语句后面加 order by null； 2.尽量让 group by 过程用上表的索引 3.如果 group... ...

PostgreSQL pg_wal目录下都哪些类型的文件（译）

博主头像 笔者最近写了一个PostgreSQL自动故障转移脚本，在测试的过程中，发现pg_wal目录中除了常规的wal日志文件，还会生成其他类型的文件，参考如下截图，除了wal日志，其他的这些文件代表什么意思，用什么用途？如下译文中将会给出一个完成的答案。 pg_wal目录 archive_status目录： ...

读数据质量管理：数据可靠性与数据质量问题解决之道05数据标准化

博主头像 1. 批处理 1.1. 批处理在一段时间内收集数据，然后将大量数据“批处理”在离散的数据包中 1.2. 直到20世纪10年代中期，批处理都是处理分析型数据最常用的方法 1.3. 批处理比流处理要便宜得多，即使是对时间要求最苛刻的处理需求也足以满足 1.4. 批处理是经过时间考验的标准，并且仍然是公司 ...

PostgreSQL libpq的客户端故障转移和负载均衡

博主头像 什么是libpq libpq是应用程序使用PostgreSQL的C接口。libpq是一个库函数的集合，它们允许客户端程序传递查询给PostgreSQL后端服务器并且接收这些查询的结果。libpq也是很多其他PostgreSQL应用接口的底层引擎，包括为 C++、Perl、Python、Tcl 和 E ...

<1234···50>