摘要:
实时技术:实时流式技术。 按照数据的延迟情况,数据时效性一般分为三种(离线、准实时、 实时) 离线:在今天( )处理 天前 N, N > I )的数据,延迟时间粒度为天。 准实时 :在当前小时( )处理 小时前 H-N, N>O ,如 0.5小时、 小时等)的数据,延迟时间粒度为小时。 实时 :在当 阅读全文
摘要:
数据研发:了解需求→模型设计→ETL 开发→测试→发布上线→日常运维→任务下线。 数据开发平台 MaxCompute 由四部分组成,分别是客户端( MaxCompute Client )、接人层( MaxCompute Front End )、逻辑层( MaxCompt Server )及存储与计算 阅读全文
摘要:
数据同步基础:数据同步技术更通用的含义是不同系统间的数据流转,有多种不同的应用场景。主数据库与备份数据库之间的数据备份,以及主系统与子系统之间的数据更新,属于同类型不同集群数据库之间的数据同步。另外,还有不同地域、不同数据库类型之间的数据传输交换,比如分布式业务系统与数据仓库系统之间的数据同步。对于 阅读全文
摘要:
一.日志采集 阿里巴巴的日志采集体系方案包括两大体系: Ap us.JS Web (基于浏览器)日志采集技术方案: UserTrack APP 端(无线客户端 日志采集技术方案。 1.浏览器的页面日志采集 ( 1 )页面浏览(展现)日志采集,也是目前所有互联网产品的两大基本指标:页面浏览量( Pag 阅读全文