数据库 大数据
刷新
深入工作流调度的内核

博主头像 在大数据时代，工作流任务调度系统成为了数据处理和业务流程管理的核心组件，在大数据平台的构建和开发过程中尤为重要。随着数据量的激增和业务需求的多样化，合理的任务调度不仅能够提高资源利用率，还能保证业务流程的稳定和高效运行。本文将结合实际场景，探讨目前市面上常见的工作流任务调度及其关键特性。 一、工作流 ...

读数据湖仓01让数据可信

博主头像 1. 让数据可信 1.1. 每个终端用户(End User)都有一个共同的需求：访问想要的数据 1.2. 真的能够相信我正在访问的这些数据吗？ 1.2.1. 终端用户很快就会发现，访问数据和相信正在访问的数据是两回事 1.2.2. 访问数据和相信数据不是同一回事 1.2.3. 如果数据不可信，可能会 ...

Apache DolphinScheduler-1.3.9源码分析（一）

博主头像 引言 随着大数据的发展，任务调度系统成为了数据处理和管理中至关重要的部分。Apache DolphinScheduler 是一款优秀的开源分布式工作流调度平台，在大数据场景中得到广泛应用。 在本文中，我们将对 Apache DolphinScheduler 1.3.9 版本的源码进行深入分析，介绍 ...

数据资产管理实施路径盘点，一文读懂如何建设企业数据资产管理体系

博主头像 完备的企业数据资产管理体系，首先依赖于数据资产管理规划及机制等上层设计，其次基于数据资产管理职能，使用有效的数据资产管理工具，将数据转化为数据资产，从而把数据价值真正发挥出来。数据资产管理架构如下图所示： 具体而言，数据资产管理包括数据开发、数据标准管理、数据质量管理、数据治理、数据资产评估、数据资 ...

flink 大批量任务提交 yarn 失败问题

博主头像 问题现象 用户迁移到新集群后,反馈他们开发平台大量 flink 任务提交失败了,当时集群的 yarn 资源是足够的 排查过程 用户是在他们的开发平台上提交的,查看他们失败的任务,发现是他们提交端主动 Kill 的,接着沟通发现他们提交平台有个逻辑就是提交到 yarn 的 flink 任务,如果在 2 ...

Scala安装与环境配置详解教程

本文参考来源： http://mengmianren.com/zhihuishu2020/641069.html Scala运行在java的JVM之上，因此需要先安装Java运行环境 一、JDK8的下载和安装及环境变量配置 使用的jdk版本是：jdk-8u191-windows-i586.exe h ...

中电信翼康基于Apache Dolphinscheduler重构“星海·济世医疗数据中台”实践经验分享

博主头像 文章作者：尚志忠 编辑整理：曾辉 行业背景 随着大数据、云计算、5G、人工智能等技术的快速发展，以及医疗信息化建设的不断深入，数据中台作为打通医疗数据融合壁垒、实现数据互通与共享、构建高效数据应用的关键信息平台，正逐渐成为推动医疗行业数字化转型和创新发展的重要力量。 星海·济世医疗数据中台介绍 中国 ...

《数据资产管理核心技术与应用》首次大型赠书活动圆满结束

博主头像 《数据资产管理核心技术与应用》是清华大学出版社出版的一本图书，作者为张永清等著，在2024.9.11号晚上20:00，本书作者张永清联合锋哥聊数仓公众号和清华大学出版社一起，向各大大数据技术爱好者通过三轮互动活动赠送了3本正版图书。 《数据资产管理核心技术与应用》深入探讨数据资产管理的核心技术与应用 ...

Apache SeaTunnel Committer 进阶指南

博主头像 Apache SeaTunnel 作为一个开源的数据集成工具，旨在简化和加速海量数据的采集和传输。 社区的 Committer 是指拥有项目存储库的写权限的社区成员，即 Committer 可以自行修改代码、文档和网站，也可以合并其他成员的贡献。成为 Apache SeaTunnel Committ ...

如何将图片转换为向量？（通过DashScope API调用）

博主头像 本文介绍如何通过模型服务灵积DashScope将 图片转换为向量 ，并入库至向量检索服务DashVector中进行向量检索。 模型服务灵积DashScope，通过灵活、易用的模型API服务，让各种模态模型的能力，都能方便的为AI开发者所用。通过灵积API，开发者不仅可以直接集成大模型的强大能力，也可 ...

数据资产入表全流程解析，助力企业数据要素价值释放

博主头像 数据资产入表即数据资产会计核算，指的是把有价值的数据编制进资产负债表，作为企业沉淀的无形资产，让数据要素的交易流通变得合规，数据价值可计算。 2023年8月21日，财政部发布《企业数据资源相关会计处理暂行规定》，并于2024年1月1日开始实施，首次将数据资源纳入企业会计核算体系，明确了数据资产入表的 ...

万字长文 | Apache开源社区出海的“踩坑”之路，看完这3点你就明白了

博主头像 引言 作为一名软件行业的从业者，我已经在开源社区Remote工作了两年时间。“技术运营” 是一个相对小众的职业，所以如果你在这个行业工作，却找不到自己热情所在或擅长的事情，可能会感觉缺乏价值感（这一点我老板也很认同）。 然而，如果你愿意为自己的情怀买单，并全心投入其中，这确实是一件伟大的事情。 我并 ...

SparkSQL练习：对学生选课成绩进行分析计算

博主头像 题目内容： 对学生选课成绩进行分析计算 题目要求： （1）该系总共有多少学生； （2）该系共开设来多少门课程； （3）每个学生的总成绩多少； （4）每门课程选修的同学人数； （5）每位同学选修的课程门数； （6）该系DataBase课程共有多少人选修； （7）每位同学平均成绩； 数据预览： 每行数据 ...

大数据集群内核参数调优

博主头像 tcp mem 相关 net.ipv4.tcp_rmem = 4096 131072 6291456 读取缓冲区，单位字节 net.ipv4.tcp_wmem = 4096 16384 4194304 发送缓冲区，单位字节 net.ipv4.tcp_mem = 760707 1014278 1521 ...

数据同步方式何来“高级”与“低级”之说？场景匹配才是真理！

博主头像 导读：数据同步方式的重要性对于数据集成领域的兴从业者不言而喻，选择正确的数据同步方式能让数据同步工作的成果事半功倍。目市面上的数据同步工具很多，提供的数据同步方式也有多种，不同的数据同步方式有什么区别？如何选择适合自己业务需求的数据同步方式呢？本文将对此进行深入分析，并深入剖析WhaleTunnel ...

<1···111213···23>