剑道第一仙

导航

< 2025年3月 >
日 一 二 三 四 五 六
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5

统计

随笔分类 -  11flink

Flink启动报错：/bin/config.sh: line 32: syntax error near unexpected token
摘要：flink启动报错 xxx@ssss:/xxx/flink-1.15.2/bin> sh start-cluster.sh /xxx/flink-1.15.2/bin/config.sh: line 32: syntax error near unexpected token `<' /xxx/fl 阅读全文

posted @ 2023-04-21 15:23 剑道第一仙 阅读(197) 评论(0) 推荐(0) 编辑

单机单节点Flink的部署
摘要：一、Flink的下载和安装 1、Flink的下载 官方下载网址：https://archive.apache.org/dist/flink/这里选择1.15.2这个版本 2、把Flink上传到主机上 把下载好的文件上传到/opt/software上 3、解压Flink安装包 把Flink解压到/op 阅读全文

posted @ 2023-04-21 14:10 剑道第一仙 阅读(408) 评论(0) 推荐(0) 编辑

flink 消费多个topic
摘要：flink 多个topic 阅读全文

posted @ 2023-04-20 16:04 剑道第一仙 阅读(405) 评论(0) 推荐(0) 编辑

【flink学习系列1】sink文件到kafka
摘要：import java.util.Properties; import org.apache.flink.api.common.RuntimeExecutionMode; import org.apache.flink.api.common.serialization.SimpleStringSch 阅读全文

posted @ 2022-10-30 20:17 剑道第一仙 阅读(77) 评论(0) 推荐(0) 编辑

【flink学习系列2】消费kafka数据sink到Postgresql
摘要：import java.util.Properties; import org.apache.flink.api.common.RuntimeExecutionMode; import org.apache.flink.api.common.functions.FlatMapFunction; im 阅读全文

posted @ 2022-10-30 20:15 剑道第一仙 阅读(734) 评论(0) 推荐(0) 编辑

Flink消费kafka获取kafka消息的offset
摘要：参考：https://chengyanan.blog.csdn.net/article/details/112391375 虽然Flink消费kafka有着完善的checkpoint机制，可以使得程序停止后再次能从上一次的消费位点继续消费，但是有时候flink的checkpoint也会失败，或者ch 阅读全文

posted @ 2022-10-12 15:17 剑道第一仙 阅读(788) 评论(0) 推荐(0) 编辑

flink&kafka报错Caused by: org.apache.flink.api.common.functions.InvalidTypesException: Type of TypeVariable 'OUT' in 'interface xxx.api.functions.source.ParallelSourceFunction' could not be determined
摘要：flink消费kafka，使用自定义实现kafka的消息反序列化，报错 org.apache.flink.api.common.functions.InvalidTypesException: The return type of function 'Custom Source' could not 阅读全文

posted @ 2022-10-12 15:13 剑道第一仙 阅读(527) 评论(0) 推荐(0) 编辑

Flink使用异常处理
摘要：Flink使用异常处理 参考：https://jastee.gitee.io/pages/40d79f/ 2022-05-11 10:42:51 ERROR o.a.f.r.e.ClusterEntrypoint - Could not start cluster entrypoint YarnJo 阅读全文

posted @ 2022-10-10 15:02 剑道第一仙 阅读(328) 评论(0) 推荐(0) 编辑

使用java代码提交flink job 任务
摘要：转：https://blog.csdn.net/pingweicheng/article/details/118223041 以下代码是使用java程序客户端提交flink job的示例代码 package client; import org.apache.flink.api.common.Exe 阅读全文

posted @ 2022-09-21 23:00 剑道第一仙 阅读(505) 评论(0) 推荐(0) 编辑

【Flink】Flink基础之WordCount实例（Java与Scala版本）
摘要：转：http://www.136.la/java/show-62152.html 【Flink】Flink基础之WordCount实例（Java与Scala版本） ShadowFiend 2020-11-28 栏目: java · 来源: ShadowFiend 作者：ShadowFiend 简介 阅读全文

posted @ 2022-09-13 17:27 剑道第一仙 阅读(185) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示