INnoVation-V2

2024年8月13日

摘要： Kafka问题集 1.设置auto.offset.reset Kafka默认读取模式是group-offsets，即从当前group上次读的停止位置继续但是如果该group是第一次出现，kafka中没有他的offset，就会报错，需要设置auto.offset.reset参数在Flink中，设置阅读全文

posted @ 2024-08-13 00:16 INnoVation-V2 阅读(3) 评论(0) 推荐(0) 编辑

Kafka Quick Onboard

摘要： 1.安装我们用docker进行安装去Docker官网下载并安装Docker Desktop 去Docker Hub查看Kafka最新版本，我这里使用3.8.0，打开指令，输入以下安装指令 docker pull apache/kafka:3.8.0 下载完成后，启动kafka docker ru 阅读全文

posted @ 2024-08-13 00:16 INnoVation-V2 阅读(10) 评论(0) 推荐(0) 编辑

2024年8月8日

CH-11 FlinkSQL

摘要： CH-11 FlinkSQL 11.1 快速上手引入依赖 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-table-api-scala-bridge_2.12</artifactId> <version>${f 阅读全文

posted @ 2024-08-08 20:14 INnoVation-V2 阅读(6) 评论(0) 推荐(0) 编辑

CH-12 Flink CEP

摘要： CH12 Flink CEP 12.1 基本概念 CEP：复杂事件处理(Complex Event Processing) 复杂事件处理就是在事件流里，检测以特定顺序先后发生的一组事件，进行统计或报警提示，比如“连续登录失败”，或者“订单支付超时”等。总结起来，复杂事件处理的流程可以分成三个步骤：阅读全文

posted @ 2024-08-08 20:14 INnoVation-V2 阅读(3) 评论(0) 推荐(0) 编辑

CH2~CH5 DataStream API基础

摘要：一个Flink程序，就是对DataStream进行各种转换。基本上由以下几部分构成接下来分别从执行环境、数据源、转换操作、输出四大部分，介绍DataStream API。导入Scala DataStream Api import org.apache.flink.streaming.api.sc 阅读全文

posted @ 2024-08-08 20:13 INnoVation-V2 阅读(4) 评论(0) 推荐(0) 编辑

CH-10 容错机制

摘要： CH-10 容错机制 Flink有一套完整的容错机制来保证故障后的恢复，其中最重要的是检查点。本章将深入了解检查点的原理和Flink的容错机制。 10.1CheckPoint 触发保存时机周期性保存，间隔时间可以设置 val env = StreamExecutionEnvironment.get 阅读全文

posted @ 2024-08-08 20:11 INnoVation-V2 阅读(3) 评论(0) 推荐(0) 编辑

CH-9 状态编程

摘要： CH-9 状态编程 9.1 状态简介状态分为两种：托管状态由Flink统一管理，状态的存储、故障恢复等都由Flink实现，直接使用即可原始状态自定义，相当于开辟了一块内存，需要自己管理，实现状态的序列化和故障恢复。状态类型包含值状态(ValueState)、列表状态(ListState) 阅读全文

posted @ 2024-08-08 20:11 INnoVation-V2 阅读(1) 评论(0) 推荐(0) 编辑

CH-8 多流转换

摘要： CH-8 多流转换多流转换分为两类：分流、合流，合流的算子比较丰富 8.1 分流一般通过侧输出流实现完整代码 8.2 合流 1.union() DataStream → DataStream 合并多个DataStream，要求所有stream内的元素类型相同 DataStreamSource 阅读全文

posted @ 2024-08-08 20:11 INnoVation-V2 阅读(1) 评论(0) 推荐(0) 编辑

CH-6 时间与窗口 & CH7 ProcessFuntion

摘要： CH-6 时间与窗口 6.1 时间语义事件时间(Event Time)：数据产生的时间，默认使用处理时间(Processing Time)：数据到达窗口的时间摄入时间：被Flink Source读入的时间 6.2 水位线 6.2.1 逻辑时钟在使用事件时间时，Flink使用逻辑时钟对数据进行阅读全文

posted @ 2024-08-08 20:10 INnoVation-V2 阅读(2) 评论(0) 推荐(0) 编辑

2024年7月3日

15~18.基于Linux编程

摘要：十五.套接字和标准IO 1.标准IO函数标准函数的优点具有良好的移植性标准IO会提供缓冲，可提高性能标准函数的缺点不容易进行双向通信有时会频繁调用fflush函数需要传入FILE指针 2.使用标准IO函数 fd-->FILE* #includes<stdio.h> /* 失败返回NUL 阅读全文

posted @ 2024-07-03 00:12 INnoVation-V2 阅读(10) 评论(0) 推荐(0) 编辑

公告