关注我,每天一篇大数据开发面试文章,挺进大厂!2021年全套大数据面试题开始更新!

文章分类 -  Flink

摘要:一 .前言 最进再看官方flink提供的视频教程,发现入门版本因为时间关系都是基于1.7.x讲解的. 在实际操作中跟1.12.x版本还是有差距的, 所以整理一下从1.7 版本到1.12版本之间的相对大的变动. 做到在学习的过程中可以做到心里有数. 二 .Flink 1.7 版本 在 Flink 1. 阅读全文
posted @ 2021-12-10 03:01 王知无 阅读(687) 评论(0) 推荐(0) 编辑
摘要:0 简介 网络流控的概念与背景 TCP 的流控机制 Flink TCP-based 反压机制(before V1.5) Flink Credit-based 反压机制 (since V1.5) 总结与思考 1 网络流控的概念与背景 1.1 为什么需要网络流控 首先我们可以看下这张最精简的网络流控的图 阅读全文
posted @ 2021-12-10 01:56 王知无 阅读(527) 评论(0) 推荐(0) 编辑
摘要:首先,我们会学习如何定义时间属性,时间戳和水位线。然后我们将会学习底层操作process function,它可以让我们访问时间戳和水位线,以及注册定时器事件。接下来,我们将会使用Flink的window API,它提供了通常使用的各种窗口类型的内置实现。我们将会学到如何进行用户自定义窗口操作符,以 阅读全文
posted @ 2021-12-09 02:29 王知无 阅读(392) 评论(0) 推荐(1) 编辑
摘要:在阅读本文之前,你应该阅读过的系列: 《Flink重点难点:时间、窗口和流Join》 《Flink重点难点:网络流控和反压》 Flink官方文档中公开的信息 1 Join 的概念 在阅读之前请一定要先了解: 数据流操作的另一个常见需求是对两条数据流中的事件进行联结(connect)或Join。Fli 阅读全文
posted @ 2021-12-09 01:31 王知无 阅读(1978) 评论(0) 推荐(0) 编辑
摘要:在阅读本文之前,你应该阅读过的系列: 《Flink重点难点:时间、窗口和流Join》 《Flink重点难点:网络流控和反压》 《Flink重点难点:维表关联理论和Join实战》 前言 在介绍内存模型之前的基础知识。 1. 堆内内存(on-heap memory) 1.1 什么是堆内内存 Java 虚 阅读全文
posted @ 2021-12-09 01:03 王知无 阅读(2213) 评论(0) 推荐(0) 编辑
摘要:在阅读本文之前,你应该阅读过的系列: 《Flink重点难点:时间、窗口和流Join》 《Flink重点难点:网络流控和反压》 《Flink重点难点:维表关联理论和Join实战》 《Flink重点难点:内存模型与内存结构》 在后台留言阴阳怪气的一些人,我跟你们说下。不管之前的小编对你态度怎么样。 在我 阅读全文
posted @ 2021-12-08 23:48 王知无 阅读(1370) 评论(0) 推荐(0) 编辑
摘要:在阅读本文之前,你应该阅读过的系列: 《Flink重点难点:时间、窗口和流Join》 《Flink重点难点:网络流控和反压》 《Flink重点难点:维表关联理论和Join实战》 《Flink重点难点:内存模型与内存结构》 《Flink重点难点:Flink Table&SQL必知必会(一)》 我们在上 阅读全文
posted @ 2021-12-08 22:16 王知无 阅读(623) 评论(0) 推荐(0) 编辑
摘要:一 .前言 官方发布了Flink1.14版本,但是遗憾的是,中文官网中的案例和资料还都是基于很古老的版本。所以大家照着官网资料跑不通基本代码也是很正常的。 所以整理一下从1.7 版本到1.14版本之间的相对大的变动. 做到在学习的过程中可以做到心里有数。 二 .Flink 1.7 版本 在 Flin 阅读全文
posted @ 2021-12-08 00:22 王知无 阅读(1267) 评论(0) 推荐(0) 编辑
摘要:数据湖的前世今生 互联网技术发展的当下,数据是各大公司最宝贵的资源之一已经是不争的事实。收据的收集、存储和分析已经成为科技公司最重要的技术组成部分。大数据领域经过近十年的高速发展,无论是实时计算还是离线计算、无论是数据仓库还是数据中台,都已经深入各大公司的各个业务。 "数据湖"这个概念从 2020 阅读全文
posted @ 2021-12-07 21:02 王知无 阅读(1165) 评论(0) 推荐(0) 编辑
摘要:Top-N是我们应用Flink进行业务开发时的常见场景,传统的DataStream API已经有了非常成熟的实现方案,如果换成Flink SQL,又该怎样操作?好在Flink SQL官方文档已经给出了标准答案,我们只需要照抄就行,参考链接: https://ci.apache.org/project 阅读全文
posted @ 2021-12-07 20:49 王知无 阅读(381) 评论(0) 推荐(0) 编辑
摘要:前言 Flink和ClickHouse分别是实时计算和(近实时)OLAP领域的翘楚,也是近些年非常火爆的开源框架,很多大厂都在将两者结合使用来构建各种用途的实时平台,效果很好。关于两者的优点就不再赘述,本文来简单介绍笔者团队在点击流实时数仓方面的一点实践经验。 点击流及其维度建模 所谓点击流(cli 阅读全文
posted @ 2021-12-06 23:52 王知无 阅读(483) 评论(0) 推荐(0) 编辑
摘要:一、背景 事实表通常存储在kafka中,维表通常存储在外部设备中(比如MySQL,HBase)。对于每条流式数据,可以关联一个外部维表数据源,为实时计算提供数据关联查询。维表可能是会不断变化的,在维表JOIN时,需指明这条记录关联维表快照的时刻。需要注意是,目前Flink SQL的维表JOIN仅支持 阅读全文
posted @ 2021-12-06 23:44 王知无 阅读(4166) 评论(0) 推荐(0) 编辑
摘要:在阅读本文之前,你应该阅读过的系列: 一网打尽Flink中的时间、窗口和流Join Flink重点原理与机制 | 网络流控及反压机制 Flink重点难点:维表关联理论和Join实战 Flink重点难点:内存模型与内存结构 Flink重点难点:Flink Table&SQL必知必会(一) Flink重 阅读全文
posted @ 2021-12-06 18:36 王知无 阅读(928) 评论(0) 推荐(0) 编辑
摘要:8月份 FlinkCDC 发布2.0.0版本,相较于1.0版本,在全量读取阶段支持分布式读取、支持checkpoint,且在全量 + 增量读取的过程在不锁表的情况下保障数据一致性。 Flink CDC2.0 数据读取逻辑并不复杂,复杂的是 FLIP-27: Refactor Source Inter 阅读全文
posted @ 2021-11-30 19:34 王知无 阅读(1409) 评论(0) 推荐(0) 编辑
摘要:在阅读本文之前,你应该阅读过的系列: 一网打尽Flink中的时间、窗口和流Join Flink重点原理与机制 | 网络流控及反压机制 Flink重点难点:维表关联理论和Join实战 Flink重点难点:内存模型与内存结构 Flink重点难点:Flink Table&SQL必知必会(一) Flink重 阅读全文
posted @ 2021-11-29 00:59 王知无 阅读(2609) 评论(0) 推荐(0) 编辑
摘要:Hi,各位大佬。 经过3个星期的总结和归纳,我把跟Flink相关的重点和难点更新完毕了。 列表如下: 一网打尽Flink中的时间、窗口和流Join Flink重点原理与机制 | 网络流控及反压机制 Flink重点难点:维表关联理论和Join实战 Flink重点难点:内存模型与内存结构 Flink重点 阅读全文
posted @ 2021-11-29 00:09 王知无 阅读(458) 评论(0) 推荐(0) 编辑
摘要:68、Flink的基础编程模型了解吗? Flink 程序的基础构建单元是流(streams)与转换(transformations)。DataSet API 中使用的数据集也是一种流。数据流(stream)就是一组永远不会停止的数据记录流,而转换(transformation)是将一个或多个流作为输 阅读全文
posted @ 2021-11-28 23:29 王知无 阅读(1166) 评论(0) 推荐(0) 编辑
摘要:1、Flink如何保证精确一次性消费 Flink 保证精确一次性消费主要依赖于两种Flink机制 1.Checkpoint机制 2.二阶段提交机制 Checkpoint机制 主要是当Flink开启Checkpoint的时候,会往Source端插入一条barrir,然后这个barrir随着数据流向一直 阅读全文
posted @ 2021-11-28 00:07 王知无 阅读(327) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示