Apache DolphinScheduler 是一个分布式、易扩展的可视化数据工作流任务调度系统，广泛应用于数据调度和处理领域。 在大规模数据工程项目中，数据质量的管理至关重要，而 DolphinScheduler 也提供了数据质量检查的计算能力。本文将对 Apache DolphinSchedu ...

1. Python和机器学习扩展异常检测 1.1. 机器学习有助于大规模数据可观测性和数据监控 1.1.1. 配备了机器学习的检测器可以更灵活地应用到更多的数据表上，从而消除了随着数据仓库或数据湖的增长进行手动检查和手动操作的需要 1.1.2. 机器学习检测器可以实时学习和适应数据，并且可以捕获到人 ...

Quartz是一个开源的Java作业调度框架，它提供了强大的定时任务调度功能。在DolphinScheduler中，Quartz用于实现定时任务的调度和管理。DolphinScheduler通过QuartzExecutorImpl类与Quartz集成，将工作流及其定时管理操作与Quartz调度框架相 ...

视频链接：58集团大数据平台基于Apache SeaTunnel的架构演进 https://www.bilibili.com/video/BV19GUPYcEgB/?vd_source=e139ecc995ab936267a7991b9de55f6c 引言 在数字化时代，数据已成为企业最宝贵的资产之 ...

deletion vector 是通过一组向量, 维护一个文件中被删除的行, 可以理解为一种索引. 这种方式可以以 Merge On Write 的方式, 来避免 Merge On Read 的过程, 从而以写入性能换取读取性能. 对于写少读多, 或者对读取性能有更高要求的场景会比较适合. 避免 M ...

1. 监控和异常检测 1.1. 在数据方面，所有明面上的测试和数据质量检查都不能完全保护你免受数据宕机的影响 1.1.1. 宕机可能由于各种原因而出现在管道内部和外部的各个阶段 1.1.2. 这些原因通常与数据本身无关 1.2. 要了解数据何时中断，最好的做法是依靠数据监控，特别是异常检测技术 1. ...

1. 运行分析型数据转换 1.1. 确保ETL期间的数据质量 1.1.1. ETL即“提取-转换-加载”​ 1.1.2. 步骤 1.1.2.1. 在提取步骤中，原始数据从一些上游数据源中导出，并将其移动到暂存区 > 1.1.2.1.1. MySQL > 1.1.2.1.2. NoSQL服务器 > 1 ...

1. 批处理 1.1. 批处理在一段时间内收集数据，然后将大量数据“批处理”在离散的数据包中 1.2. 直到20世纪10年代中期，批处理都是处理分析型数据最常用的方法 1.3. 批处理比流处理要便宜得多，即使是对时间要求最苛刻的处理需求也足以满足 1.4. 批处理是经过时间考验的标准，并且仍然是公司 ...

各位热爱 Apache SeaTunnel 的小伙伴们，社区10月份月报来啦，请查收！ 这里将记录Apache SeaTunne社区每月动态和进展，欢迎关注。 月度Merge之星 感谢以下小伙伴上个月为 Apache SeaTunnel 所做的精彩贡献（排名不分先后）： @Hisoka-X,@prc ...

各位热爱 Apache DolphinScheduler 的小伙伴们，社区10月份月报更新啦！这里将记录 DolphinScheduler 社区每月的重要更新，欢迎关注！ 月度Merge之星 感谢以下小伙伴10月份为 Apache DolphinScheduler 所做的精彩贡献（排名不分先后）： ...

1. 收集数据 1.1. 数据收集和清洗是生产管道中的第一步 1.1.1. 数据转换和测试则在生产管道中解决数据质量问题 1.2. 在收集数据时，管道的任何地方可能都没有入口点重要，因为入口点是任何数据管道中最上游的位置 1.3. 入口点定义为来自外部世界的数据进入数据管道的初始接触点 1.4. 在 ...

在数字化转型的浪潮下，银行业对数据的依赖日益加深。为提升数据管理和应用水平，西南某城商行于2022年启动了数据中台建设，采用创新技术手段优化其数据服务体系。 本文将深入探讨该行如何借助Whalestudio平台构建数据中台，以及在实际应用中取得的显著成效。 从需求到选择：数据中台系统的选型过程 该银 ...

写了一些使用sparksql以及spark机器学习来进行数据分析的东西，希望能给大家做一些参考 项目需求：对某大型商超客户采购数据集进行数据分析 数据来源：https://www.heywhale.com/mw/dataset/656069b19a74cc18269207c4/content 首先使 ...

本文主要介绍带关键词感知能力的向量检索服务的优势、应用示例以及Sparse Vector生成工具。 背景介绍 关键词检索及其局限 在信息检索领域，"传统"方式是通过关键词进行信息检索，其大致过程为： 对原始语料（如网页）进行关键词抽取。 建立关键词和原始语料的映射关系，常见的方法有倒排索引、TF-I ...

1. 同步数据 1.1. 不同的数据仓库和数据湖通过数据集成层来进行桥接 1.2. AWS Glue、Fivetran和Matillion等数据集成工具从不同来源收集数据，统一这些数据，并将其转换为上游来源 1.3. 数据集成的一个典型用例是收集数据湖的数据并以结构化格式将其加载到数据仓库中 1.4 ...

1. 组装 1.1. 对于任何数据从业者来说，解决生产过程中的数据质量问题都是一项关键技能，但只要有适当的系统和流程，就基本可以防止数据宕机 1.2. 数据在管道的任何阶段都可能会受到操作数量、编程甚至数据相关性的影响，也许只需一次模式更改或代码推送，就会让下游报告处于混乱状 1.3. 元数据驱动的 ...

1. 为什么数据质量值得关注 1.1. 数据是你的CEO的首要任务 1.2. 下游数据消费者（包括产品分析师、营销领导者和销售团队）则依赖于数据驱动的工具 1.3. 数据宕机 1.3.1. 指数据丢失、不准确或出现错误的情况，它表现为过时的仪表板、不准确的报告，甚至是糟糕的决策 1.3.2. 数据宕 ...

1. 基本信息 数据工程之道：设计和构建健壮的数据系统 [美]乔·里斯(Joe Reis),[美]马特·豪斯利(Matt Housley)著 机械工业出版社,2024年2月出版 1.1. 读薄率 书籍总字数473千字，笔记总字数109584字。 读薄率109584÷473000≈23.17% 1.2 ...

1. 未来 1.1. 运营的优先级和最佳实践与技术可能会改变，但生命周期的主要阶段会在许多年内保持不变 1.2. 随着组织以新的方式利用数据，将需要新的基础、系统和工作流来满足这些需求 1.3. 如果工具变得更容易使用，数据工程师就会向价值链上游移动，专注于更高级别的工作 1.4. 数据工程生命周期 ...

1. 序列化 1.1. 仅仅通过从CSV转换到Parquet序列化，任务性能就提高了上百倍 1.2. 基于行的序列化 1.2.1. 基于行的序列化是按行来组织数据 1.2.2. 对于那些半结构化的数据（支持嵌套和模式变化的数据对象）​，基于行的序列化需要将每个对象作为一个单元来存储 1.2.3. C ...