flink - 随笔分类 - 雷雨客

flink开发中整合flinksql、kafka、mysql、hbase、cdc所需jar记录

摘要：在flink开发中，通常会配合flinksql、kafka、mysql、hbase、cdc等一块使用，为避免jar包缺失、冲突，现整理一下。（均是单机部署）版本说明如下： flink：1.13.0 kafka：2.11 mysql：8.0 hbase：2.2.3 一、flink+socket 1）阅读全文

posted @ 2022-11-13 15:30 雷雨客阅读(1772) 评论(0) 推荐(0) 编辑

flink报错Could not acquire the minimum required resources.解决方案

摘要：有时候在flinksql中执行select会报错如下： [ERROR] Could not execute SQL statement. Reason: org.apache.flink.runtime.jobmanager.scheduler.NoResourceAvailableExceptio 阅读全文

posted @ 2022-11-05 21:20 雷雨客阅读(7555) 评论(1) 推荐(1) 编辑

flink开发环境执行sql及生产环境提交sql文件

摘要：flink提供了sql-client.sh工具可直接操作sql，该工具一般在开发环境用于调试，在生产环境还是要打成jar文件。为了避免在java文件中写大量sql，我们可以将sql提取出来放到一个后缀是.sql的文件中，自己编辑java代码读取该sql文件。然后将java代码与sql文件一块打成ja 阅读全文

posted @ 2022-10-30 15:02 雷雨客阅读(4565) 评论(0) 推荐(1) 编辑

flink集群安装-Standalone模式

摘要：1、节点规划 JobManager： 192.168.23.151 TaskManager：192.168.23.152 TaskManager：192.168.23.153 TaskManager：192.168.23.154 2、安装配置 1）首先在一台机器上安装flink，参考flink本地开阅读全文

posted @ 2022-10-28 21:29 雷雨客阅读(516) 评论(0) 推荐(2) 编辑

flink本地开发环境安装与部署（单机）

摘要：一、安装 1、下载地址 https://archive.apache.org/dist/flink/ 本文选择的版本是：flink-1.13.0-bin-scala_2.12.tgz 2、解压文件 tar -zxvf flink-1.13.0-bin-scala_2.12.tgz -C /usr/l 阅读全文

posted @ 2022-10-26 10:45 雷雨客阅读(1789) 评论(0) 推荐(1) 编辑

随笔分类 - flink