摘要: 在实际的生产开发过程中 Keyed Window 使用的最多,故 Keyed Window 算子很重要。 在每个窗口算子中包含了 Windows Assigner、Window Trigger(窗口触发器)、Evictor(数据剔除器)、Lateness(延时设置)、Output Tag(输出标签) 阅读全文
posted @ 2020-06-09 15:35 alen-fly 阅读(250) 评论(0) 推荐(0) 编辑
摘要: 1)Global Window 和 Key Windows 在运用窗口计算时,Flink根据上游数据集是否为 KeyStream 类型,对应的 Windows 也会有所不同。 ※ Keyed Window:上游数据集如果是 KeyedStream 类型,则调用 DataStream API的 win 阅读全文
posted @ 2020-06-09 14:47 alen-fly 阅读(346) 评论(0) 推荐(0) 编辑
摘要: 一、概述 Savepoint 是检查点的一种特殊实现,底层实现其实也是使用 Checkpoint 的机制。 Savepoint 是用户以手工命令的方式触发 Checkpoint,并将结果持久化到指定的存储路径 中,其主要目的是帮助用户在升级和维护集群过程中保存系统中的状态数据,避免因为停机运维 或者 阅读全文
posted @ 2020-06-09 13:56 alen-fly 阅读(1265) 评论(1) 推荐(0) 编辑
摘要: 一、概述 保存机制 StateBackend ,默认情况下,State 会保存在 TaskManager 的内存中,CheckPoint 会存储在 JobManager 的内存中。 State 和 CheckPoint 的存储位置取决于 StateBackend 的配置。 Flink 一共提供了 3 阅读全文
posted @ 2020-06-09 11:24 alen-fly 阅读(2228) 评论(0) 推荐(0) 编辑
摘要: 一、概述 1.线程池的意义:减少线程的创建和销毁,做到线程的重用,以提高资源的利用率 2.当线程池定义好之后,线程池中没有任何线程 3.每过来一个请求,会创建一个线程去处理这个请求,直到线程数达到指定的数量, 就不再创建,这些线程称之为核心线程 4.在核心线程数量达到指定的线程数量之前,每次的请求都 阅读全文
posted @ 2020-06-08 20:52 alen-fly 阅读(236) 评论(0) 推荐(0) 编辑
摘要: 一、概述 当程序出现问题需要恢复 State 数据的时候,只有程序提供支持才可以实现 State 的容错。 State 的容错需要依靠 CheckPoint 机制,这样才可以保证 Exactly-once 这种语义。但是注 意的是,它只能保证 Flink 系统内的 Exactly-once,比如 F 阅读全文
posted @ 2020-06-08 15:59 alen-fly 阅读(829) 评论(0) 推荐(0) 编辑
摘要: 一、概述 1.是JDK1.5提供的用于应对高并发以及保证安全性的一类映射 二、ConcurrentHashMap - 并发哈希映射 1.底层结构依然是依靠数组+链表 2.默认初始容量是16,默认加载因子是0.75,默认扩容是增加1倍 3. 底层采用了分桶锁(分段锁)机制保证并发性,在后续的版本中,在 阅读全文
posted @ 2020-06-06 13:47 alen-fly 阅读(255) 评论(0) 推荐(0) 编辑
摘要: 一、概述 1.是JDK1.5出现的专门应对高并发的包 2.内容(5个):BlockingQueue阻塞队列、ConcurrentMap并发映射、ExectorService执行器服务、Lock锁、原子性操作 BlockingQueue-阻塞式队列: 1.依然遵循“先进先出”(FIFO)的原则 2.所 阅读全文
posted @ 2020-06-06 12:06 alen-fly 阅读(179) 评论(0) 推荐(0) 编辑
摘要: 一、概述 1.用于进行数据传输的 2.BIO - BlockingIO - 同步式阻塞式IO 3.NIO - NewIO - NonBlockingIO - 同步式非阻塞式IO - JDK1.4以上 - 就是专门为了应对高并发场景 4.NIO的组件:Buffer、Channel、Selector 5 阅读全文
posted @ 2020-06-05 10:24 alen-fly 阅读(138) 评论(0) 推荐(0) 编辑
摘要: 常用 State Flink 有两种常见的 State类型,分别是: Keyed State (键控状态) Operator State(算子状态) 1) Keyed State(键控状态) Keyed State:顾名思义就是基于 KeyedStream 上的状态,这个状态是跟特定的Key绑定的。 阅读全文
posted @ 2020-06-05 10:21 alen-fly 阅读(2662) 评论(0) 推荐(0) 编辑