数据库 大数据
刷新
海豚调度调优 | 如何解决任务被禁用出现的Bug

博主头像 本系列文章是 DolphinScheduler 由浅入深的教程，涵盖搭建、二开迭代、核心原理解读、运维和管理等一系列内容。适用于想对 DolphinScheduler了解或想要加深理解的读者。 祝开卷有益。 本系列教程基于 DolphinScheduler 2.0.5 做的优化。（稳定版推荐使 ...

基于 Paimon 的袋鼠云实时湖仓入湖实战剖析

博主头像 在当今数据驱动的时代，企业对数据的实施性能力提出了前所未有的高要求。为了应对这一挑战，构建高效、灵活且可扩展的实时湖仓成为数字化转型的关键。本文将深入探讨袋鼠云数栈如何通过三大核心实践——ChunJun 融合 Flink CDC、MySQL 一键入湖至 Paimon 的实践，以及湖仓一体治理 Pai ...

Dolphinscheduler Docker部署全攻略

博主头像 作者| 陈逸飞 Docker部署的目的是在容器中快速启动部署Apache Dolphinscheduler服务。 先决条件 docker-compose docker 使用容器单机部署Dolphinscheduler 请下载源码包apache-dolphinscheduler--src.tar.gz ...

花样玩转“所见即所得”的可视化开发UI

博主头像 随着技术的发展，用户对软件的界面美观度和交互体验的要求越来越高。在这样的背景下，可视化开发UI（User Interface）成为了提升用户体验和开发效率的重要工具。 通过图形界面来设计和构建用户界面的方法，可视化开发UI可以说改变了软便开发的生态，与传统的代码编写相比，它允许开发者使用拖放等直观的 ...

Primer Premier 6安装使用教程

博主头像 Primer Premier是一款专业级PCR引物设计工具软件，专为科研及分子生物学实验定制PCR扩增、测序探针及杂交引物。该程序运用尖端演算法评估引物的特异性、二聚体可能性和熔解温度等核心属性，确保产出的引物在性能上精准高效。其用户友好界面不仅简化了引物设计流程，并整合了序列比对与限制性内切酶位点 ...

Hive怎么调整优化Tez引擎的查询？在Tez上优化Hive查询的指南

博主头像 在Tez上优化Hive查询无法采用一刀切的方法。查询性能取决于数据的大小、文件类型、查询设计和查询模式。在性能测试过程中，应评估和验证配置参数及任何SQL修改。建议在工作负载的性能测试过程中一次只进行一项更改，并最好在开发环境中评估调优更改的影响，然后再在生产环境中使用。 ...

DataOps真能“降本增效”？

博主头像 在各行各业中，越来越多的公司开始重视收集数据，并寻找创新方法来获得真实可行的商业成果，并且愿意投入大量时间和金钱来实现这一目标。 据IDC称，数据和分析软件及云服务市场规模在 2021 年达到了 900 亿美元，随着企业继续对人工智能和机器学习 (AI/ML) 和现代数据计划进行投资，预计到 202 ...

直播预约丨《袋鼠云大数据实操指南》No.3：数据资产管理实操，如何有效进行数据治理

博主头像 近年来，新质生产力、数据要素及数据资产入表等新兴概念犹如一股强劲的浪潮，持续冲击并革新着企业数字化转型的观念视野，昭示着一个以数据为核心驱动力的新时代正稳步启幕。 面对这些引领经济转型的新兴概念，为了更好地服务于客户并提供切实可行的实践指导，自3月20日起，袋鼠云将推出全新《袋鼠云大数据实操指南》系 ...

Elasticsearch如何聚合查询多个统计值，如何嵌套聚合？并相互引用，统计索引中某一个字段的空值率？语法是怎么样的？

博主头像 Elasticsearch聚合查询是一种强大的工具，允许我们对索引中的数据进行复杂的统计分析和计算。本文将详细解释一个聚合查询示例，该查询用于统计满足特定条件的文档数量，并计算其占总文档数量的百分比。这里回会分享如何统计某个字段的空值率，然后扩展介绍ES的一些基础知识。 ...

为数据安全护航，袋鼠云在数据分类分级上的探索实践

博主头像 在大数据时代，数据具有多源异构的特性，且价值各异，企业需依据数据的重要性、价值指数等予以区分，以利采取不同的数据保护举措，避免数据泄露。故而，数据分类分级管理属于数据安全保护中极为重要的环节之一。 2021 年 12 月 31 日，全国信息安全标准化技术委员会秘书处颁布了《网络安全标准实践指南——网 ...

Hadoop习题汇总

博主头像 目录选择单选多选判断填空简答 选择 单选 查看HDFS系统版本的Shell命令，以下正确的是（）。 hdfs -ver hdfs version （答案） dfsadmin version hadoop -ver 数据存储单位从小到大排列顺序是（） TB、PB、EB、ZB、YB （答案） TB、YB ...

如何获取Flume连接HDFS所需要的包

博主头像 在学习Hadoop工具中的Flume时，有的小伙伴会遇到这句话： “Flume要想将数据输出到HDFS，必须持有Hadoop相关jar包” 然后小伙伴就懵逼了，这些包要去什么地方来找呢？ （远在天边，近在眼前） 首先，我们需要的包有 commons-configuration-1.6.jar、 ha ...

【运维技巧】海豚调度工作流实例卡在正在停止&任务实例卡在正在运行怎么办？

博主头像 在大数据调度系统中，，大家可能会碰到任务实例状态更新不及时的情况。 对于Apache DolphinScheduler用户来说，这可能意味着前端显示的任务状态与实际情况不一致，即使任务已经在后台停止运行，前端仍显示为“正在运行”。 这种现象不仅影响监控和管理，还可能导致后续任务调度出现问题。那么，当 ...

数栈xAI：轻量化、专业化、模块化，四大功能革新 SQL 开发体验

博主头像 在这个数据如潮的时代，SQL 已远远超越了简单的查询语言范畴，它已成为数据分析和决策制定的基石，成为撬动企业智慧决策的关键杠杆。SQL 的编写和执行效率直接关系到数据处理的速度和分析结果的深度，对企业洞察市场动态、优化业务流程、提升决策质量起着至关重要的作用。 如何在浩瀚的数据海洋中快速捕捞到价值信 ...

<123···18>