07 2020 档案
摘要：一、简介 一般业务诉求：在第一时间拿到经过加工后的数据，以便实时监控当前业务状态并作出运营决策，引导业务往好的方向发展。 按照数据的延时情况，数据时效性一般分为三种（离线、准实时、实时）： 离线：在今天（T）处理 N 天前（T - N ≥ 1）的数据，延迟时间粒度为天； 准实时：在当前小时（H）处理
阅读全文
摘要：从采集系统中收集了大量的原始数据后，数据只有被整合和计算，才能被用于洞察商业规律，挖掘潜在信息，从而实现大数据价值，达到赋能于商业和创造价值的目的； 面对海量的数据和复杂的计算，阿里的数据计算层包括两大体系：数据存储及计算平台（离线计算凭他 MaxCompute、实时计算平台 StreamCompu
阅读全文
摘要：概述 数据同步场景类型： 主数据库与备份数据库之间的数据备份； 主系统与子系统间的数据更新； 属于同类型不同集群数据库间的数据同步； 不同区域、不同数据库类型间的数据传输交换； 大数据系统：数据从业务系统同步进入数据仓库、数据从数据仓库同步进入数据服务或者数据应用。（本篇主讲数据从业务系统同步进入数
阅读全文
摘要：一、概述 数据采集渠道：主要采集 Web 端和 App 端日志数据； 数据加工分层理念：操作数据层（Operational Data Store ，ODS）、明细数据层（Data Warehouse Detail，DWD）、汇总数据层（Data Warehouse Summary，DWS）、应用数据
阅读全文
