一、数据模型架构规范 1.数据层次的划分 ODS：Operational Data Store，操作数据层，在结构上其与源系统的增量或者全量数据基本保持一致。它相当于DW数据的一个数据准备区，同时又承担着基础数据的记录以及历史变化。其主要作用是把基础数据引入到DMP。 CDM：Common Data ...

索引原理 倒排索引 倒排索引（Inverted Index）也叫反向索引，有反向索引必有正向索引。通俗地来讲，正向索引是通过key找value，反向索引则是通过value找key。ES底层在检索时底层使用的就是倒排索引。 索引模型 现有索引和映射如下: { "products" : { "mappi ...

本文分享自华为云社区 《实战指南，SpringBoot + Mybatis 如何对接多数据源》，作者：战斧。 在我们开发一些具有综合功能的项目时，往往会碰到一种情况，需要同时连接多个数据库，这个时候就需要用到多数据源的设计。而Spring与Myabtis其实做了多数据源的适配，只需少许改动即可对接多 ...

质量是产品的生命线，代码检查是软件开发过程中至关重要的一环，它可以帮助我们发现并纠正潜在的错误，提高软件质量，降低维护成本。 在袋鼠云产品中也存在这个问题，由于离线数据开发人员 SQL 水平不一，导致代码书写混乱、SQL 代码运行问题较多。本文将介绍在离线产品中如何利用 SQL 检查规则规范化 SQ ...

什么是机器学习(ML)? 它有什么作用 机器学习(ML)是人工智能(AI)的一个子集，通过算法发现数据中的通用模式，并根据持续不断的训练来优化调整最终结果。ML模型从过去的经验中学习，并根据已有的经验进行预测。例如，现在的电商已不再会使用普遍性降价或优惠券等手段吸引客户，取而代之的是根据每个客户的历 ...

数据作为新型生产要素，已快速融入生产、分配、流通、消费和社会服务管理等各环节，深刻改变着生产方式、生活方式和治理方式。越来越多企业也在尝试充分利用数据要素，开辟全新发展路径，进一步实现业务价值提升。 在数字化转型的大背景之下，白鲸开源旗下WhaleStudio与火山引擎ByteHouse依托于双方完 ...

一直以来，大数据量一直是爆炸性增长，每天几十 TB 的数据增量已经非常常见，但云存储相对来说还是不便宜的。众多云上的大数据用户特别希望可以非常简单快速的将文件移动到更实惠的 S3、OSS 上进行保存，这篇文章就来介绍如何使用 SeaTunnel 来进行到 OSS 的数据同步。 首先简要介绍一下 Ap ...

奇富科技（原360数科）是人工智能驱动的信贷科技服务平台，致力于凭借智能服务、AI研究及应用、安全科技，赋能金融机构提质增效，助推普惠金融高质量发展，让更多人享受到安全便捷的金融科技服务。作为国内领先的信贷科技服务品牌，累计注册用户数2亿多。 奇富科技之前使用的是自研的任务调度框架，基于Python ...

作者 | 李晨 编辑 | Debra Chen Gartner最近对全球2,500名高管进行的一项调查发现，近一半（45%）的人表示，ChatGPT的宣传促使他们增加人工智能（AI）投资。调查报告称，70%的高管表示他们正在调查人工智能的使用，而19%的高管正在试点或已经在生产中部署人工智能。 Ga ...

冷热分离功能支持将冷热数据存储在不同的介质上，可以大大降低存储成本，HBase支持对同一张表的数据进行冷热分离存储。 ...

最近，某白酒品牌频频吸引大众眼球，白酒与咖啡、巧克力等联名衍生品一经推出便掀起热潮。某商品由于太过火爆，甚至一度售罄下架。 不得不说，我国拥有超大规模内需市场，消费潜力巨大。 当前，创新消费场景加上数字化融合转型，成为酒企品牌开疆扩土、逆势增长的重要途径。 如今越来越多的酒企开始拥抱数字化，建立涵盖 ...

GraphiteMergeTree该引擎用来对Graphite数据(图数据)进行瘦身及汇总。对于想使用ClickHouse来存储Graphite数据的开发者来说可能有用。 如果不需要对Graphite数据做汇总，那么可以使用任意的ClickHouse表引擎；但若需要，那就采用GraphiteMerg ...

作者 | 代立冬 编辑 | Debra Chen Apache DolphinScheduler 是现代数据工作流编排平台，具有非常强大的可视化能力，DolphinScheduler 致力于使数据工程师、分析师、数据科学家等数据工作者都可以简单轻松地搭建各种数据工作流，让数据处理流程更简单可靠。 D ...

S3File 是一个用于管理 Amazon S3（Simple Storage Service）的 Python 模块。当前，Apache SeaTunnel 已经支持 S3File Sink Connector，为了更好地使用这个 Connector，有必要看一下这篇使用文档指南。 描述 将数据输 ...

欢迎来到袋鼠云07期产品功能更新报告！在瞬息万变的市场环境中，袋鼠云始终将客户需求和反馈置于优化工作的核心位置，本期也针对性地推出了一系列实用性强的功能优化，以满足客户日益增长的业务需求。 以下为袋鼠云产品功能更新报告07期内容，更多探索，请继续阅读。 离线开发平台 新增功能更新 1.数据源引入支持 ...

引入 本文在两台2核2g的云服务器上搭建了Hadoop集群，两台云服务器分别是阿里云（hjm）和腾讯云（gyt），集群部署规划如下： hjm gyt HDFS NameNode\SecondaryNameNode\DataNode DataNode YARN ResourceManager\Node ...

本文将从 e2e 的基本介绍，e2e 的使用与扩展，session 日志隔离三个维度为大家带来 ChunJun e2e & session 日志隔离的分享。 大量具体代码和演示请看视频教程⬇️ 视频课程： https://www.bilibili.com/video/BV1ru411P7oZ/?sp ...

近日，袋鼠云大数据引擎专家郝卫亮，为大家带来了《袋鼠云在实时数据湖上的探索与实践》主题分享，帮助大家能了解到什么是实时数据湖、如何进行数据湖选型及数据平台建设数据湖的经验。 如今，大规模、高时效、智能化数据处理已是“刚需”，企业需要更强大的数据处理能力，来应对数据查询、数据处理、数据挖掘、数据展示以 ...

Apache SeaTunnel是一个非常易于使用的、超高性能的分布式数据集成平台，支持海量数据的实时同步。每天可稳定高效同步数百亿数据，已被近百家企业投入生产使用。 现在的版本不支持通过jtds的方式链接sqlserver，我们来自己写代码来实现它，并把代码提交给apache seatunnel。 ...

通过 API 对外提供数据服务是大部分企业中比较常见的数据应用方式，对于 API 平台管理者、开发者和调用者来说，API 的调用性能、安全性和稳定性是在平台选型时最需要考虑的三个因素。 袋鼠云API开发及管理平台【数栈-数据服务 DataAPI】通过多种手段标准化管控服务，可完成从 API 创建、发 ...