随笔分类 -  大数据-Flink

摘要:1. 简单介绍一下Flink Flink是一个面向流处理和批处理的分布式数据计算引擎,能够基于同一个Flink 运行,可以提供流处理和批处理两种类型的功能。 在 Flink 的世界观中,一切都是由流组成的,离线数据是有界的流;实时数据是一个没有界限的流,这就是所谓的有界流和无界流。 Flink的核心 阅读全文
posted @ 2024-12-19 09:57 业余砖家 阅读(76) 评论(0) 推荐(0) 编辑
摘要:1.组件版本 组件 版本 Kafka 3.7.0 Flink 1.17.0 MySQL 8.0.32 2.Kafka生产数据 ./kafka-console-producer.sh --broker-list hadoop01:9092,hadoop02:9092,hadoop03:9092 --t 阅读全文
posted @ 2024-08-20 18:08 业余砖家 阅读(130) 评论(0) 推荐(0) 编辑
摘要:背景: 启动Flink的sql-client.sh,创建Kafka的source端表,然后查询Kafka的数据时报错。 报错信息: 2024-06-18 16:10:12 org.apache.flink.util.FlinkException: Global failure triggered b 阅读全文
posted @ 2024-06-18 16:35 业余砖家 阅读(453) 评论(0) 推荐(0) 编辑
摘要:问题描述 通过FlinkSQL创建Hudi表后,执行SQL向表中插入数据报错: [ERROR] Could not execute SQL statement. Reason:java.lang.ClassNotFoundException: org.apache.hadoop.fs.FSDataI 阅读全文
posted @ 2024-02-28 14:30 业余砖家 阅读(401) 评论(0) 推荐(0) 编辑
摘要:一、安装规划 操作系统 服务器IP 主机名 硬件配置 CentOS7.6 192.168.80.131 hadoop01 内存:2GB,CPU:2核,硬盘:100GB CentOS7.6 192.168.80.132 hadoop02 内存:2GB,CPU:2核,硬盘:100GB CentOS7.6 阅读全文
posted @ 2024-02-07 10:16 业余砖家 阅读(1752) 评论(0) 推荐(0) 编辑
摘要:Flink CDC写入kafka几种常见的数据格式,其中包括upsert-kafka写入后正常的json格式,debezium-json格式以及changelog-json格式。 upsert-kafka 正常json数据格式 -- insert 操作:{"name":"魏夜游","remark": 阅读全文
posted @ 2024-01-03 16:13 业余砖家 阅读(553) 评论(0) 推荐(0) 编辑
摘要:问题描述 Caused by: org.postgresql.util.PSQLException: 错误: 无法访问文件 "decoderbufs": 没有那个文件或目录 解决办法 postgres-cdc的属性缺少如下配置: 'slot.name' = 'myslot','decoding.pl 阅读全文
posted @ 2024-01-03 10:43 业余砖家 阅读(281) 评论(0) 推荐(0) 编辑
摘要:问题描述 通过./bin/start-cluster.sh启动Flink程序,正常启动后无法通过浏览器访问web UI界面,http://192.168.80.133:8081。 问题原因 Flink1.12之前启动Flink程序后,可以正常打开WebUI界面,换成新的版本后Flink1.15、Fl 阅读全文
posted @ 2024-01-03 09:14 业余砖家 阅读(2869) 评论(0) 推荐(0) 编辑
摘要:Flink去重语句 您可以通过多种方式实现去重需求,例如FIRST_VALUE、LAST_VALUE和DISTINCT等。本文为您介绍如何使用TopN方法实现去重,以及使用过程中的注意事项。 去重的方案通常有两种: (1) 保留第一条。 (2) 保留最后一条。 说明 ORDER BY后的时间属性字段 阅读全文
posted @ 2022-08-11 09:28 业余砖家 阅读(1702) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示