摘要: Apache Flink 是公认的新一代开源大数据计算引擎,其流水线运行系统既可以执行批处理程序也可以执行流处理程序。目前,Flink 已成为 Apache 基金会和 GitHub 社区最为活跃的项目之一。在 Flink Forward Asia 2019 上,阿里巴巴资深技术专家,实时计算负责人王 阅读全文
posted @ 2019-12-23 17:06 zhaowei121 阅读(264) 评论(0) 推荐(0) 编辑
摘要: 以下内容根据演讲视频以及PPT整理而成。本次分享主要围绕以下三个方面: 一、阿里风控大脑整体介绍二、近线引擎三、离线引擎 一、阿里风控大脑整体介绍 1. 阿里风控大脑是什么? 阿里的风控主要分为两大块。一块是金融领域,主要业务是支付宝,另一块是非金融领域,如新零售、高德、大文娱等,我们负责的主要是非 阅读全文
posted @ 2019-12-23 16:33 zhaowei121 阅读(571) 评论(0) 推荐(0) 编辑
摘要: MaxCompute(原ODPS)是阿里云自主研发的具有业界领先水平的分布式大数据处理平台, 尤其在集团内部得到广泛应用,支撑了多个BU的核心业务。 MaxCompute除了持续优化性能外,也致力于提升SQL语言的用户体验和表达能力,提高广大ODPS开发者的生产力。 MaxCompute基于ODPS 阅读全文
posted @ 2019-12-23 15:52 zhaowei121 阅读(398) 评论(0) 推荐(1) 编辑
摘要: 摘要:如何基于 Flink 搭建大规模准实时数据分析平台?在 Flink Forward Asia 2019 上,来自 Lyft 公司实时数据平台的徐赢博士和计算数据平台的高立博士分享了 Lyft 基于 Apache Flink 的大规模准实时数据分析平台。 查看FFA大会视频。 本次分享主要分为四 阅读全文
posted @ 2019-12-23 15:14 zhaowei121 阅读(289) 评论(0) 推荐(0) 编辑
摘要: 一、需求场景分析 在实际的数据平台运营管理过程中,数据表的规模往往随着更多业务数据的接入以及数据应用的建设而逐渐增长到非常大的规模,数据管理人员往往希望能够利用元数据的分析来更好地掌握不同数据表的血缘关系,从而分析出数据的上下游依赖关系。本文将介绍如何去根据MaxCompute Informatio 阅读全文
posted @ 2019-12-23 14:18 zhaowei121 阅读(400) 评论(0) 推荐(0) 编辑