摘要:
【FLINK学习笔记】 FLINK WINDOW(窗口)详解 一、Window 分类 Global Window 和 和 Keyed Window 在运用窗口计算时,Flink根据上游数据集是否为KeyedStream类型,对应的Windows 也会有所不同。 Keyed Window:上游数据集如 阅读全文
摘要:
java的getResource方法 总结一下 在Java中获取资源的时候,经常用到getResource和getResourceAsStream,本文总结一下这两种获取资源文件的路径差异 1. 前言 在Java中获取资源的时候,经常用到getResource和getResourceAsStream 阅读全文
摘要:
Flink 使用之 TypeInformation 由于泛型类型在运行时会被JVM擦除,所以要指定类型 Flink 使用介绍相关文档目录 Flink 使用介绍相关文档目录 背景 本篇从近期遇到的Stream Java API 问题,引出TypeInformation的使用。 Exception in 阅读全文
摘要:
Type information 反射信息 Type指一个对象的种类,某种自定义的class,某个interface或string等,都是type的一种。 (本文参考了 Thinking in java中的type information这章) 什么是Type information Type指一个 阅读全文
摘要:
flink的分流器-sideoutput Flink 有两种常见的 State类型,分别是:Keyed State (键控状态)和Operator State(算子状态) 为了说明侧输出(sideouptut)的作用,浪尖举个例子,比如现在有一篇文章吧,单词长度不一,但是我们想对单词长度小于5的单词 阅读全文
摘要:
Flink详解系列之六--窗口机制 窗口是flink处理无限流的核心,窗口将流拆分为有限大小的“桶”,我们可以在这些桶上进行计算。 1、Keyed vs Non-Keyed Windows 根据上游数据是否为Keyed Stream类型(是否将数据按照某个指定的Key进行分区),将窗口划分为Keye 阅读全文
摘要:
一、概述 之前的转化算子是无法访问事件的时间戳信息和水位线watermark,但是,在某些情况下,显得很重要。Flink 提供了 DataStream API 的Low- Level转化算子。比如说可以访问事件时间戳、watermark、以及注册定时器,还可以输出一些特定的事件,比如超时事件等。Pr 阅读全文
摘要:
Flink入门之Flink程序开发步骤(java语言) 文章目录 (0)开发程序所需依赖(1)获取执行环境(2)加载/创建数据源(3)数据转换处理(4)处理后数据放置/输出(5)执行计算程序(6)完整示例 注:本篇章的flink学习均是基于java开发语言 我们如果要使用flink进行计算开发,一个 阅读全文
摘要:
Java注解篇之@SuppressWarnings注解详解 @SuppressWarnings作用:用于抑制编译器产生警告信息。它的注解目标为类、字段、函数、函数入参、构造函数和函数的局部变量,但是建议注解声明在最接近警告发生的位置。去感叹号?我们经常遇到 代码编译通过且可以运行,但每行前面的“感叹 阅读全文