写在前面 今天继续学习hadoop部分的知识。 MapReduce 数据切片 InputFormat 接口 InputFormat 是一个抽象类，定义了两个方法： getSplits：负责实现数据切片的方法 createRecordReader：实现数据的 key-value 格式。 FileInp ...

本文介绍了在Apache DolphinScheduler中嵌入Arthas的方法，以实现对接口调用的监控。Arthas是一款强大的 Java诊断工具，能够帮助开发者实时查看应用程序的运行状态、性能瓶颈和方法调用情况。在DolphinScheduler中集成Arthas，可以方便地捕获任务调度时的关 ...

本文介绍了如何使用SeaTunnel将数据从InfluxDB同步到Doris。通过SeaTunnel强大的数据集成功能，用户可以高效地将存储于InfluxDB中的时间序列数据传输至Doris，便于数据的访问与分析。 版本信息： SeaTunnel 2.3.3 InfluxDB 2.7.6 Doris ...

10月30日，袋鼠云成功举办了以“AI驱动，数智未来”为主题的2024年秋季发布会。大会深度探讨了如何凭借 AI 实现新的飞跃，重塑企业的经营管理方式，加速数智化进程。 会上，易知微产品经理林树为大家带来了一款新产品——多层级数据填报与报送平台TableFill。TableFill是一款一站式表单填 ...

1. 合作角色 1.1. 数据分析师 1.2. 数据科学家 1.3. MLOps/机器学习工程师 1.4. 业务侧 1.4.1. 数据或非技术的利益相关者、经理和高管 1.5. 数据工程师更多的是在支持这些利益相关者的工作，不一定对数据的最终使用方式负责 1.6. 数据工程师负责的是产出高质量的数据 ...

10月30日，袋鼠云成功举办了以“AI驱动，数智未来”为主题的2024年秋季发布会。大会深度探讨了如何凭借 AI 实现新的飞跃，重塑企业的经营管理方式，加速数智化进程。 作为大会的重要环节之一，袋鼠云数栈产品经理潮汐带来了题为《指标+AI+BI：构建数据分析新范式》的精彩演讲，深入剖析了当前企业在进 ...

1. 使用场景 1.1. 为分析和BI，也就是统计分析、报表和仪表板提供数据服务 1.1.1. 是数据服务最为常见的目标 1.1.2. 这些概念的提出早于IT和数据库，但是它们对于了解业务、组织和财务流程的利益相关者来说仍然至关重要 1.2. 为机器学习应用程序提供数据服务 1.2.1. 机器学习完 ...

Apache SeaTunnel作为一款高效的数据集成和同步工具，一直活跃于大数据领域。Milvus作为全球领先的开源向量数据库，致力于推动向量数据管理和AI的应用。 在最新版本中，SeaTunnel Connector已正式支持向量数据库Milvus，这是SeaTunnel在助力用户提升AI应用开 ...

需求：编写程序利用Spark Streaming 监控HDFS 目录/input目录下的文件，并对上传的文件进行词频统计。 首先，linux中需要有netcat，来实现监听功能，有的linux会自带这个软件，可以用下面的命令测试一下，如果不报错就没问题，Ctrl+z可以退出 nc -l 9999 没 ...

1. 转换 1.1. 转换与查询不同 1.1.1. 查询是根据过滤和连接逻辑从各种来源检索数据 1.1.2. 转换将结果持久化，供其他转换或查询使用 1.1.2.1. 结果可以被短暂地或永久地保存 1.1.3. 除了持久性，转换区别于查询的另一个特点是复杂性 1.1.3.1. 你可能会建立复杂的数据 ...

1. 数据建模 1.1. 良好的数据架构必须反映出使用这些数据的组织的业务目标和业务逻辑 1.2. 数据湖1.0、NoSQL和大数据系统的兴起，使工程师们有时是为了合理的性能提升去忽略传统的数据建模 1.3. 数据在企业中的地位急剧上升，人们越来越认识到，建模对于实现数据科学需求层次金字塔中更高层次 ...

1. 查询 1.1. 通过理解查询、建模和转换​，你会掌握将原始数据转化为下游利益相关者可用数据的工具 1.2. 被很多人熟知的SQL，这是最流行和通用的查询语言 1.3. 查询是数据工程、数据科学和数据分析的基础 1.4. 在了解数据转换的基本模式和技术之前，你需要了解什么是查询、它如何在各种数据 ...

背景 在当今数据驱动的世界中，企业必须适应数据管理、分析和利用方式的快速变化。传统的集中式系统和单片式架构虽然在历史上已经足够，但已无法满足企业日益增长的需求，因为企业需要更快地实时获取数据见解。事件驱动数据网格架构是这一领域的革命性框架，与 AWS 服务结合后，它将成为应对复杂数据管理挑战的强大解 ...

引言 大家好，我叫张琦，来自每日互动，担任大数据平台架构师。今天我将分享我们团队在基于Apache DolphinScheduler实现ClickHouse零压入库过程中的实践经验。 这个实践项目涉及到两个关键组件：Apache DolphinScheduler和ClickHouse，主要是我们在实 ...

1. 基本信息 数据湖仓 [美]比尔·恩门（BillInmon）；[美]戴夫·拉皮恩（DaveRapien）；[美]瓦莱丽·特（ValerieBartelt）著 人民邮电出版社 2024年7月出版 1.1. 读薄率 书籍总字数？？？千字，笔记总字数23238字。 读薄率23238÷？？？000≈？？ ...

在当今时代，AI 的发展如汹涌浪潮，其速度之快超越了任何历史时期。它以前所未有的迅猛之势，渗入到各个领域的不同场景之中，悄然重塑着商业模式与人们的生活方式。 在 AI 逐渐成为企业基础属性的背景下，袋鼠云举办秋季发布会，以“AI驱动，数智未来”为主题，旨在深度探讨如何凭借 AI 实现新的飞跃，重塑企 ...

DashText，是向量检索服务DashVector推荐使用的稀疏向量编码器（Sparse Vector Encoder），DashText可通过BM25算法将原始文本转换为稀疏向量（Sparse Vector）表达，通过DashText可大幅度简化使用DashVector[关键词感知检索]能力。 ...

1. 数据库直连 1.1. 数据可以通过网络连接直接从数据库中通过查询和读取的方式来获取 1.2. 使用ODBC或JDBC进行的 1.2.1. JDBC和ODBC长期以来是数据库数据获取的黄金标准，但对于许多数据工程应用程序来说，这些连接标准已经开始显示出它们年头已久 1.2.2. 许多数据库现在支 ...

在之前的文章中，我们已经介绍了Apache DolphinScheduler海豚调度的基本概念和工作流程，以及Shell任务和SQL任务的实践。感兴趣的朋友可以下滑到最下面，点击感兴趣的文章阅读！ 今天，让我们来学习Apache DolphinScheduler中的另一个重要功能：钉钉告警。 钉钉群 ...

本期，我们更新和优化了数据资产平台相关功能，为您提供更高效的产品能力。以下为第12期袋鼠云产品功能更新报告，请继续阅读。 一、【元数据】重点更新 ｜01 元数据管理优化，支持配置表生命周期 之前系统中缺少一个可以基于数据源和数据库维度，批量配置数据表生命周期的入口，导致用户在处理大量数据表时会非常耗 ...