09 2019 档案
摘要:简介 Flink本身为了保证其高可用的特性,以及保证作用的Exactly Once的快速恢复,进而提供了一套强大的Checkpoint机制。 Checkpoint机制是Flink可靠性的基石,可以保证Flink集群在某个算子因为某些原因(如异常退出)出现故障时,能够将整个应用流图的状态恢复到故障之前
阅读全文
摘要:前言 今年有个现象,实时数仓建设突然就被大家所关注。我个人在公众号也写过和转载过几篇关于实时数据仓库的文章和方案。 但是对于实时数仓的狂热追求大可不必。 首先,在技术上几乎没有难点,基于强大的开源中间件实现实时数据仓库的需求已经变得没有那么困难。其次,实时数仓的建设一定是伴随着业务的发展而发展,武断
阅读全文
摘要:在上一章节中,我们讲到实时数仓的建设,互联网大数据技术发展到今天,各个领域基本已经成熟,有各式各样的解决方案可以供我们选择。 在实时数仓建设中,解决方案成熟,消息队列Kafka、Redis、Hbase鲜有敌手,几乎已成垄断之势。而OLAP的选择则制约整个实时数仓的能力。开源盛世的今天,可以供我们选择
阅读全文
摘要:关注我的公众号,后台回复【JAVAPDF】获取200页面试题! "5万人关注的大数据成神之路,不来了解一下吗?" "5万人关注的大数据成神之路,真的不来了解一下吗?" "5万人关注的大数据成神之路,确定真的不来了解一下吗?" 欢迎您关注 "《大数据成神之路》" 愿读到这篇文章的技术人早日明白并且脱离
阅读全文
摘要:【声明】本文由《大数据技术与架构》读者提供,未经授权不得转载。 "5万人关注的大数据成神之路,不来了解一下吗?" "5万人关注的大数据成神之路,真的不来了解一下吗?" "5万人关注的大数据成神之路,确定真的不来了解一下吗?" 腾讯 关键词【Java基础】【数据结构】【操作系统】 【算法】【数据库】【
阅读全文
摘要:声明:本文参考了淘宝/滴滴/美团发表的关于大数据平台建设的文章基础上予以整理。参考链接和作者在文末给出。 在此对三家公司的技术人员无私奉献精神表示感谢,如果文章造成了侵权行为,请联系本人删除。本人在尊重事实的基础上重新组织了语言和内容,旨在给读者揭开一个完善的大数据平台的组成和发展过程。 本文在未经
阅读全文