08 2024 档案
摘要：最近在看Apache DolphineScheduler，发现DolphinScheduler在处理任务时，通过先将任务快速的存储在数据库中，然后基于对应的Task，将Task放入队列中，然后将Task进行快速消费的思路。 这种模型在很多框架中，都有体现。 我们知道在Master模块时处理任务的核心
阅读全文
摘要：文 / 兴业证券股份有限公司 刘洋 石良生 柳君 李致琪 本文来源于网络，如有侵权，请联系删除 任务调度平台，扮演着自动执行预设任务的重要角色，是业务开展过程中不可或缺的一环。随着业务规模的不断扩展，兴业证券每日需要进行数以万计的任务调度，因此，优化和提升任务调度平台的性能与稳定性至关重要。本文通过
阅读全文
摘要：近日，由IT168联合旗下ITPUB、ChinaUnix两大技术社区主办的第15届中国数据库技术大会（DTCC 2024）隆重召开。大会以“自研创新 数智未来”为主题，吸引了数百位行业专家和广大数据领域从业者共聚这场年度数据库技术交流盛宴，共同探讨新时代下数据库的技术动态和应用实践。 作为全球领先的
阅读全文
摘要：转载自神龙大侠 生产环境部署方案 在企业线上生产环境中，普遍的做法是至少实施两套环境。 测试环境 线上环境 测试环境用于验证代码的正确性，当测试环境验证ok后才会部署线上环境。 鉴于CI/CD应用的普遍性，源代码一键部署是必要的。 本文是探索对DolphinScheduler源代码改造，构建测试，线
阅读全文
摘要：引言 Apache DolphinScheduler的发版流程对于确保软件质量和社区协作至关重要，社区Committer王兴杰为我们详细介绍了Apache DolphinScheduler的发版流程，包括环境准备、流程文档、基础工具准备、依赖包确认等关键步骤，并指出了发版流程中可能会遇到的麻烦以及相
阅读全文
摘要：数字化转型提速中！传统农牧食品行业也寻求搭上数字化转型的快车，通过物联网、大数据、人工智能等现代信息技术，实现生产、加工、流通等环节的智能化和自动化，提高生产效率、优化资源配置、提升产品质量，并满足消费者对食品安全和可追溯性的需求。 在数字化浪潮的推动下，铁骑力士集团作为一家历史悠久的农牧食品企业，
阅读全文
摘要：Bessemer Venture Partners 在基础设施投资方面有着悠久的历史。经过这家公司的长期观察，他们发现在 AI 时代，为 AI 量身定制的新型基础设施范式正在兴起，以增强 AI 时代下一波企业数据软件的发展。其中，DataOps 2.0 和调度编排技术和产业的发展也成为焦点。
阅读全文
摘要：8月2日，第六届“中国创翼”创业创新大赛北京市选拔赛暨第七届“创业北京”创业创新大赛圆满落幕，白鲸开源的 「全球领先的大模型时代数据工程平台」项目荣获优秀奖。 据悉，本届大赛以“创响新时代 共圆中国梦”为主题，由人力资源社会保障部指导，北京市人力资源和社会保障局联合13家单位共同主办。比赛设先进制造
阅读全文
摘要：一、背景 大数据服务是数据平台建设的基座，随着B站业务的快速发展，其大数据的规模和复杂度也突飞猛进，技术的追求也同样不会有止境。 B站一站式大数据集群管理平台（BMR），在千呼万唤中孕育而生。本文简单介绍BMR的由来、面临的主要矛盾以及如何在变化中求得生存与发展。 下图是截至2024年6月初，统计到
阅读全文
摘要：因为在工作中需要推动Apache DolphinScheduler的升级，经过预研，从1.3.4到3.1.2有的体验了很大的提升，在性能和功能性有了很多的改善，推荐升级。 查看官方的升级文档，可知有提供升级脚本，如果只是跨小版本的更新那么只用执行脚本就好了，但跨多个大版本升级时依然容易出现各种问题，
阅读全文
摘要：最近我们遇到很多客户需求是把Talend迁移到WhaleStudio，主要是发现WhaleStudio支持的数据源多很多，从各个版本的SAP到AWS Redshift，S3，从MangoDB CDC到 Neo4J甚至各种国产信创数据源，可谓应有尽有。同时，客户发现WhaleStudio同步效率比Ta
阅读全文