随笔分类 -  FLINK1.17

1 2 下一页
Flink sink doris注意点
摘要：开启检查点间隔 ，检查点完成视为写出提交 doris 需要存在对应分区，否则写出取消 create table if not exists xxx ( stt DATETIME COMMENT '窗口起始时间', edt DATETIME COMMENT '窗口结束时间', cur_date DAT 阅读全文
posted @ 2025-07-02 23:46 自在现实 阅读(35) 评论(0) 推荐(0)
Flink 使用之 SQL Gateway
摘要：Flink 使用介绍相关文档目录 Flink 使用介绍相关文档目录 背景 Flink 1.16.0整合了SQL Gateway，提供了多种客户端远程并发执行SQL的能力。Flink终于拥有了类似于Spark Thrift server的能力。 本篇为大家带来Flink SQL Gateway的部署、 阅读全文
posted @ 2025-06-10 20:36 自在现实 阅读(605) 评论(0) 推荐(0)
flink sql clint init.sql 初始化sql
摘要：SET sql-client.execution.result-mode=tableau; load module hive; CREATE CATALOG my_jdbc_catalog WITH( 'type' = 'jdbc', 'default-database' = 'xx', 'user 阅读全文
posted @ 2024-09-23 08:35 自在现实 阅读(47) 评论(0) 推荐(0)
SqlserverCDCcrudSourceSink mssql数据实时同步demo
摘要：package org.hu.fk.datastream_connector; import com.alibaba.fastjson.JSON; import com.alibaba.fastjson.JSONObject; import com.ververica.cdc.connectors. 阅读全文
posted @ 2024-06-22 16:48 自在现实 阅读(78) 评论(0) 推荐(0)
Flink自定义序列化器
摘要：package org.hu.fk.ds_connector; import com.ververica.cdc.connectors.shaded.org.apache.kafka.connect.data.Field; import com.ververica.cdc.connectors.sh 阅读全文
posted @ 2024-06-20 23:52 自在现实 阅读(144) 评论(0) 推荐(0)
官方序列化器 StringDebeziumDeserializationSchema
摘要：直接转为String，可参照实现自定义序列化器 import com.ververica.cdc.connectors.shaded.org.apache.kafka.connect.source.SourceRecord; import com.ververica.cdc.debezium.Deb 阅读全文
posted @ 2024-06-20 23:51 自在现实 阅读(94) 评论(0) 推荐(0)
SqlserverCDCSourceSink
摘要：此处调用官方sink demo，更新和删除逻辑还需要再判断实现。 import com.ververica.cdc.connectors.base.options.StartupOptions; import com.ververica.cdc.connectors.sqlserver.SqlSer 阅读全文
posted @ 2024-06-20 23:49 自在现实 阅读(42) 评论(0) 推荐(0)
Flink Sink中jdbc sink
摘要：这里介绍一下Flink Sink中jdbc sink的使用方法,以mysql为例,这里代码分为两种,事务和非事务 此处sink只处理append，主要是事务和非事务的调用方法，upsert等未实现 非事务代码 import org.apache.flink.connector.jdbc.JdbcCo 阅读全文
posted @ 2024-06-20 23:32 自在现实 阅读(729) 评论(0) 推荐(0)
SqlserverCDCSource DataStream方式
摘要：org.apache.flink 没有jar包，要换为 com.ververica.cdc 2.com.ververica.cdc 最新的也只有 3.0.1，3.1.1的没有 主要 mvnrepository 仓库没找到 如下是单并行度和多并行度的demo import com.ververica. 阅读全文
posted @ 2024-06-19 23:50 自在现实 阅读(88) 评论(0) 推荐(0)
SQLServer CDC Connector
摘要：SQLServer CDC Connector # The SQLServer CDC connector allows for reading snapshot data and incremental data from SQLServer database. This document des 阅读全文
posted @ 2024-06-19 22:32 自在现实 阅读(94) 评论(0) 推荐(0)
Flink高级配置
摘要：高级配置主题 # Flink 依赖剖析 # Flink 自身由一组类和依赖项组成，这些共同构成了 Flink 运行时的核心，在 Flink 应用程序启动时必须存在，会提供诸如通信协调、网络管理、检查点、容错、API、算子（如窗口）、资源管理等领域的服务。 这些核心类和依赖项都打包在 flink-di 阅读全文
posted @ 2024-06-15 16:35 自在现实 阅读(155) 评论(0) 推荐(0)
Flink架构
摘要：Flink 架构 # Flink 是一个分布式系统，需要有效分配和管理计算资源才能执行流应用程序。它集成了所有常见的集群资源管理器，例如Hadoop YARN，但也可以设置作为独立集群甚至库运行。 本节概述了 Flink 架构，并且描述了其主要组件如何交互以执行应用程序和从故障中恢复。 Flink 阅读全文
posted @ 2024-06-15 16:02 自在现实 阅读(72) 评论(0) 推荐(0)
Flink时间和水印
摘要：及时流处理# 介绍# 及时流处理是有状态流处理其中时间在计算中起了一些作用。在进行时间序列分析时，基于特定时间段（通常称为窗口）进行聚合时，或者在事件发生时间非常重要的情况下进行事件处理时，都会出现这种情况。 在接下来的章节中，我们将重点介绍在使用适时Flink应用程序时应该考虑的一些主题。 返回页 阅读全文
posted @ 2024-06-15 15:45 自在现实 阅读(82) 评论(0) 推荐(0)
Flink有状态流处理 未对齐barrier性能好
摘要：有状态流处理# 什么是状态？# 虽然数据流中的许多操作只是查看一个个体一次事件(例如事件解析器)，有些操作会记住多个事件的信息(例如窗口操作符)。这些操作被称为宏伟威严的. 有状态操作的一些例子: 当应用程序搜索某些事件模式时，状态将存储到目前为止遇到的事件序列。 当聚合每分钟/小时/天的事件时，状 阅读全文
posted @ 2024-06-15 15:37 自在现实 阅读(138) 评论(0) 推荐(0)
Flink API
摘要：Flink 中的 API # Flink 为流式/批式处理应用程序的开发提供了不同级别的抽象。 Programming levels of abstraction Flink API 最底层的抽象为有状态实时流处理。其抽象实现是 Process Function，并且 Process Functio 阅读全文
posted @ 2024-06-15 15:18 自在现实 阅读(48) 评论(0) 推荐(0)
Flink快照容错处理
摘要：通过状态快照实现容错处理 # State Backends # 由 Flink 管理的 keyed state 是一种分片的键/值存储，每个 keyed state 的工作副本都保存在负责该键的 taskmanager 本地中。另外，Operator state 也保存在机器节点本地。Flink 定 阅读全文
posted @ 2024-06-15 15:14 自在现实 阅读(44) 评论(0) 推荐(0)
State 性能优化考虑
摘要：性能考虑 # Flink 提供了为 RocksDB 优化的 MapState 和 ListState 类型。 相对于 ValueState，更建议使用 MapState 和 ListState，因为使用 RocksDBStateBackend 的情况下， MapState 和 ListState 比 阅读全文
posted @ 2024-06-15 14:56 自在现实 阅读(67) 评论(0) 推荐(0)
transient关键字与序列化
摘要：一、transient关键字小结 1、变量被transient修饰，变量将不会被序列化 2、transient关键字只能修饰变量，而不能修饰方法和类。 3、被static关键字修饰的变量不参与序列化，一个静态static变量不管是否被transient修饰，均不能被序列化。 4、final变量值参与 阅读全文
posted @ 2024-06-12 18:25 自在现实 阅读(60) 评论(0) 推荐(0)
创建entity模板,equals hashcode 方法模板
摘要：创建entity模板,equals hashcode 方法模板 如下为FLINK官网实体类demo equals hashcode 方法模板可以参考 // // Source code recreated from a .class file by IntelliJ IDEA // (powered 阅读全文
posted @ 2024-06-12 17:57 自在现实 阅读(26) 评论(0) 推荐(0)
flink sql 实时同步及离线同步
摘要：create database test; use test; 离线数据源接入 CREATE TABLE ttab_source ( id INT, name varchar(100), PRIMARY KEY (id) NOT ENFORCED ) WITH ( 'connector' = 'jd 阅读全文
posted @ 2024-06-03 18:58 自在现实 阅读(288) 评论(0) 推荐(0)

1 2 下一页