随笔分类 - 大数据-Flink
摘要:1. 简单介绍一下Flink Flink是一个面向流处理和批处理的分布式数据计算引擎,能够基于同一个Flink 运行,可以提供流处理和批处理两种类型的功能。 在 Flink 的世界观中,一切都是由流组成的,离线数据是有界的流;实时数据是一个没有界限的流,这就是所谓的有界流和无界流。 Flink的核心
阅读全文
摘要:1.组件版本 组件 版本 Kafka 3.7.0 Flink 1.17.0 MySQL 8.0.32 2.Kafka生产数据 ./kafka-console-producer.sh --broker-list hadoop01:9092,hadoop02:9092,hadoop03:9092 --t
阅读全文
摘要:背景: 启动Flink的sql-client.sh,创建Kafka的source端表,然后查询Kafka的数据时报错。 报错信息: 2024-06-18 16:10:12 org.apache.flink.util.FlinkException: Global failure triggered b
阅读全文
摘要:问题描述 通过FlinkSQL创建Hudi表后,执行SQL向表中插入数据报错: [ERROR] Could not execute SQL statement. Reason:java.lang.ClassNotFoundException: org.apache.hadoop.fs.FSDataI
阅读全文
摘要:一、安装规划 操作系统 服务器IP 主机名 硬件配置 CentOS7.6 192.168.80.131 hadoop01 内存:2GB,CPU:2核,硬盘:100GB CentOS7.6 192.168.80.132 hadoop02 内存:2GB,CPU:2核,硬盘:100GB CentOS7.6
阅读全文
摘要:Flink CDC写入kafka几种常见的数据格式,其中包括upsert-kafka写入后正常的json格式,debezium-json格式以及changelog-json格式。 upsert-kafka 正常json数据格式 -- insert 操作:{"name":"魏夜游","remark":
阅读全文
摘要:问题描述 Caused by: org.postgresql.util.PSQLException: 错误: 无法访问文件 "decoderbufs": 没有那个文件或目录 解决办法 postgres-cdc的属性缺少如下配置: 'slot.name' = 'myslot','decoding.pl
阅读全文
摘要:问题描述 通过./bin/start-cluster.sh启动Flink程序,正常启动后无法通过浏览器访问web UI界面,http://192.168.80.133:8081。 问题原因 Flink1.12之前启动Flink程序后,可以正常打开WebUI界面,换成新的版本后Flink1.15、Fl
阅读全文
摘要:Flink去重语句 您可以通过多种方式实现去重需求,例如FIRST_VALUE、LAST_VALUE和DISTINCT等。本文为您介绍如何使用TopN方法实现去重,以及使用过程中的注意事项。 去重的方案通常有两种: (1) 保留第一条。 (2) 保留最后一条。 说明 ORDER BY后的时间属性字段
阅读全文