刷新
用Ambari安装DolphinScheduler,超简单!

博主头像 Ambari是一个用于管理Hadoop集群的工具,虽然Ambari本身并不直接支持DolphinScheduler的安装,但我们可以通过自定义服务的方式将其集成到Ambari中。本文将描述如何使用Ambari安装DolphinScheduler。 1.将需要集成到Ambari的服务安装包放到该目录下 ...

探索数据编码:Delta Encoding

博主头像 写在前面 在解决Doris访问AWS上存储的Parquet文件时,曾碰到过Doris不支持Delta Encoding导致数据读取失败。于是打算整理下跟Delta Encoding相关的知识,为解决连续的整型存储、Timestamp、Date类型存储时的压缩效率问题提供参考。 数据编码指的是从一种数 ...

大模型时代的软件进化论:恐龙式软件 vs. 猴群式软件

博主头像 春节期间,IT圈内两件大事持续发酵,一件是中国大模型DeepSeek R1的开源震动全球AI界,让中国科技界扬眉吐气,廉价大模型走入千家万户;另一件是SAP被客户居然之家告上法庭,要求索赔590万开发费用和1700万软件费用,最终法院判SAP退还350万研发费用。这两件事的背后,实际上映射了一个势不 ...

记录---DeepSeek私有化本地部署图文(Win+Mac)

博主头像 ‍ 写在开头 点赞 + 收藏 学会 一、DeepSeek私有化本地部署【Windows】 1、安装Ollama 2、配置环境变量 3、下载模型 4、使用示例 a、直接访问 b、chatbox网页访问 Chatbox AI官网:办公学习的AI好助手,全平台AI客户端,官方免费下载 ...

DolphinScheduler接口实操(二):如何寻找接口

博主头像 转载自风_间 上一篇写了《DolphinScheduler接口实操(一):利用接口实现高效批量工作流导入及脚本上线》,通过DolphinScheduler的一些接口来实现导入-上线工作流,那么DolphinScheduler的接口应该怎么找呢?在此简单总结一篇。 接下来以手动执行一次工作流为例。 寻 ...

用户案例 | 某商业银行引入白鲸调度系统实现系统升级与业务场景深度支持

博主头像 导读 某地方性股份制商业银行主要提供个人金融、公司金融、国际金融等方面的业务,承担着大量的金融数据处理与分析任务。这些任务对于确保银行的运营效率、风险管理和客户服务至关重要。过去,该银行一直依赖自建的调度系统来管理和协调这些数据任务,确保数据的准确性和及时性。然而,随着业务的不断扩展和数据量的急剧增 ...

小红书已被TikTok“难民”攻占!谁能接住这泼天富贵?

博主头像 谁都不会想到,美国即将对Tiktok发出的禁令会让故事发生这样的转向,小红书竟成最后“赢家”。 小红书首页的“国际范” 一夜之间,小红书的首页被大量英文帖子“攻占”。中国网友纷纷表示:“一觉醒来,我成外国人了?”。这些新用户自称“TikTok难民”,并迅速在小红书上开设账号,上传内容,分享生活点滴、 ...

数据分析之年度总结分享

背景: 我们是一家国内的服装公司,在全国拥有几十家服装门店,从事18个服装品类的销售,市场覆盖国内上海、华北、华中、西南、东北、中南、西北七个区域,年销售额达数千万元。财年结束了,老板希望我们(数据分析师)能对公司的销售团队的数据进行分析,并得出结论作为下年度的制定作战的方向。 一、工具选取: (1 ...

化工巨头的选择:惠生工程如何用DolphinScheduler点燃数据集成新火花

博主头像 在数字化转型的大潮中,企业面临着数据爆炸性增长的挑战。如何有效地整合和管理来自不同来源的数据,成为企业提升竞争力的关键。本文将详细介绍惠生工程(中国)基于Apache DolphinScheduler的多源数据集成实践解决方案,包括背景介绍、痛点分析、调度策略设计、关键技术方案以及运维管理经验总结等 ...

白鲸数据集成调度和集成系统与统信软件通过互认认证,共促国产软硬件生态发展

博主头像 在国产软硬件生态建设的征程中,又迎来重要成果。北京白鲸开源科技有限公司与统信软件技术有限公司联合宣布,白鲸数据集成系统V2.6和数据调度系统V2.6分别在统信服务器操作系统V25上通过了严格的功能与兼容性测试,获得了统信软件的互认证明。 白鲸开源数据调度系统V2.6与统信服务器操作系统V25互认证明 ...

Apache SeaTunnel+Apache Doris=全面淘汰Lambda架构

博主头像 引言 在大数据时代,企业面临着数据集成和实时处理的挑战。Apache SeaTunnel 和 Apache Doris 的结合提供了一种解决方案,使得企业能够快速搭建批流一体的数据仓库,全面取代传统的 Lambda 架构。本文将详细介绍 Apache SeaTunnel 的特点,在数据集成领域的核心 ...

基于海豚调度功能开发——推送下游系统数据库连接信息批量修改方案与实现

博主头像 功能需求背景 由于信创(信息技术应用创新产业)改造要求,上个月已将从数据仓库推送下游官网系统的ORACLE数据库相关数据推送任务迁移到信创人大金仓临时数据库,整体任务完成切换上线并试运行稳定。 由于年底需要进行信创数据库的正式上线,目前需要将人大金仓临时数据库切换到生产环境的人大金仓正式数据库,两者 ...

拥有强大的Embedding Transform插件是一种什么体验?

博主头像 Apache SeaTunnel的Embedding转换插件是一个强大的工具,它能够将文本数据转换为向量化表示,从而使得这些数据可以被用于各种机器学习和数据分析任务。这个插件支持多种模型提供商,并且可以轻松集成不同的API。在这篇文档中,我们将深入了解Embedding插件的配置选项,包括如何指定模 ...

123···22>