Apache DolphinScheduler 社区 8 月用户交流会精彩继续！本次活动邀请到老牌农牧产品实业集团铁骑力士架构工程师，来分享Apache DolphinScheduler在现代农牧食品加工场景中的应用实践。此外，还将有社区活跃贡献者以Apache DolphinScheduler为例 ...

转载自程序员小陶 Apache DolphinScheduler 在使用过程中，肯定会有任务出现失败的情况，那么问题来了：调度任务的告警是需要人为配置的，在生产环境中，面对海量的任务，如何找到重要的任务，并且在失败的时候，第一时间告警呢？ 先思考一下。 先看思路 本文提供一个思路，接着往下看吧。 不 ...

如何参与开源贡献 参与开源贡献的常见方法有多种： 1）参与解答 在社区中， 帮助使用过程中遇到困难的人，帮他们解释框架的用法也算是一种贡献。 2）文档贡献 帮助框架来完善文档，比如说将英文文档翻译为中文，纠正文档里面的错误单词，这 是很多人参与开源贡献的第一步。 3）代码贡献 经过阅读源码，发现源码 ...

这次向大家分享发表在OSDI 2012上的一篇经典图计算框架论文PowerGraph，旨在通过点切分解决图数据幂律分布导致的计算倾斜问题，并提出了区别于Pregel's VC（以点为中心）的GAS（以边为中心）计算框架。 ...

Vue 的 Keep-Alive 组件是用于缓存组件的高阶组件，可以有效地提高应用性能。它能够使组件在切换时仍能保留原有的状态信息，并且有专门的生命周期方便去做额外的处理。该组件在很多场景非常有用，比如： · tabs 缓存页面 · 分步表单 · 路由缓存 在 Vue 中，通过 KeepAlive ...

上次向大家分享了论文图谱项目Awesome-Graphs的介绍文章，这次我们就拿图计算系统的奠基文章Pregel开篇，沿着论文图谱的主线，对图计算系统的论文内容进行解读。 ...

经过实测：1.09亿的数据量进行中文检索。ElasticSearch单机的检索性能在0.005~5.6秒之间，此检索速度可满足95%的业务场景（注意：每条ES文档平均65个汉字，数据源取自几千本小说，大部分文档在15~300个汉字之间，不然字数太多索引太大电脑存不下）。 前置文章 由于本文章的前置操 ...

“10000条”问题（个人称谓） 症状： 在数据量不大的情况下，可能还会使用from + size的传统分页方式，但是数量受限，只能取前10000条的数据。 缘由：ES限值10000条，是ES团队挑选一个不大不小的数作为阈值，为了避免深度分页的策略。 调整：max_result_window 用于控 ...

2024年7月24日，由数据猿主办，IDC协办，新华社中国经济信息社、上海大数据联盟、上海市数商协会、上海超级计算中心作为支持单位，举办“数智新质·力拓未来 2024企业数智化转型升级发展论坛——暨AI大模型趋势论坛”数据猿“年中·特别策划季——数智化转型升级”主题策划活动。 在这场备受瞩目的盛会上 ...

ElasticSearch 官方文档：https://www.elastic.co/guide/en/elasticsearch/reference/current/getting-started.html 非官方中文文档：https://learnku.com/docs/elasticsearch ...

引言 在DataOps（数据运营）的推动下，越来越多的企业开始关注数据研发和运营的一体化建设。DataOps通过自动化和流程优化，帮助企业实现数据的高效流转和管理。 当前，Apache DolphinScheduler作为一款开源的分布式调度系统，凭借其灵活的插件机制和强大的调度能力，已经成为许多企 ...

Apache SeaTunnel除了单表之间的数据同步之外，也支持单表同步到多表，多表同步到单表，以及多表同步到多表，下面简单举例说明如何实现这些功能。 单表 to 单表 一个source，一个sink。 从mysql同步到mysql，中间不做区分 env { # You can set flink ...

Apache DolphinScheduler 3.2.2 版本正式发布！ 近日，Apache DolphinScheduler 发布了 3.2.2 版本。此版本主要基于 3.2.1 版本进行了 bug 修复，新增若干特性，并进行了众多改进和 Bug 修复，以及文档修复等。 3.2.2版本下载： ...

近年来，新质生产力、数据要素及数据资产入表等新兴概念犹如一股强劲的浪潮，持续冲击并革新着企业数字化转型的观念视野，昭示着一个以数据为核心驱动力的新时代正稳步启幕。 面对这些引领经济转型的新兴概念，为了更好地服务于客户并提供切实可行的实践指导，自3月20日起，袋鼠云将推出全新《袋鼠云大数据实操指南》系 ...

引言 随着云计算技术的发展，Amazon Web Services (AWS) 作为一个开放的平台，一直在帮助开发者更好的在云上构建和使用开源软件，同时也与开源社区紧密合作，推动开源项目的发展。 本文主要探讨2024年值得关注的一些开源软件及其在AWS上的应用情况，希望能够给大家参考使用！ 2024 ...

本文分享自天翼云开发者社区《快照技术对比学习》，作者:z****n 1.快照的分类 根据 SNIA 的定义, 快照有全量快照 (full snapshot) 和增量快照 (incremental snapshot) 两种类型。 2.全量快照 克隆(Clone)： 与备份操作类似，克隆技术是一种数据复 ...

引言 随着云计算技术的发展，Amazon Web Services (AWS) 作为一个开放的平台，一直在帮助开发者更好的在云上构建和使用开源软件，同时也与开源社区紧密合作，推动开源项目的发展。 本文主要探讨2024年值得关注的一些开源软件及其在AWS上的应用情况，希望能够给大家参考使用！ 2024 ...

指标管理体系是一个结构化、系统化的方法论，旨在通过一系列精心设计的指标来衡量和指导组织的运营、决策和战略实施过程。包括战略对齐与目标设定、指标体系设计、管理流程标准化与自动化、监控与评估等多个核心环节。 本文聚焦于指标管理流程的标准化与自动化实践，借助袋鼠云提供的专业指标管理平台，将指标管理流程精炼 ...

指标是反映企业的各项核心业务活动、管理成效的数据体系，指标体系作为联结业务逻辑与数据实体的关键桥梁，是构建高质量数据统计的基础单元，并在量化业务绩效和效果评估中扮演着核心角色。 为了更好地服务于客户并提供切实可行的实践指导，自4月24日起，袋鼠云将推出全新《指标体系建设实战》系列直播。该系列内容覆盖 ...

​ 文本转换为向量有多种方式： 方法一：通过模型服务灵积DashScope将文本转换为向量（推荐） 方法二：通过ModelScope魔搭社区中的文本向量开源模型将文本转换为向量 方法三：通过Jina Embeddings v2模型将文本转换为向量 方法四：通过百川智能向量化模型将文本转换为向量 本文 ...