随笔分类 -  Flink

记录Flink On Yarn taskmanager分配不均匀问题
摘要：业务场景： Flink On Yarn任务启动 组件版本：CDH：6.3.0Flink：1.12.1Hadoop：3.0.0 问题描述： 在使用FLink on Yarn调度过程中，发现taskmanager总是分配在集中的几个节点上，集群有11个节点，但每个任务启动，只用到两三个节点，导致这几台服 阅读全文
posted @ 2022-04-19 15:56 小跑、追幸福 阅读(425) 评论(0) 推荐(0) 编辑
Flink1.9.0升级到Flink1.12.1问题汇总
摘要：业务场景： Flink消费Kafka数据写入Hbase 组件版本： CDH：6.3.0 Flink：1.12.1 Hbase:2.1.0-cdh6.3.0 问题1： java.lang.NoSuchMethodError:org.apache.commons.cli.Option.builder(L 阅读全文
posted @ 2022-03-25 11:24 小跑、追幸福 阅读(238) 评论(0) 推荐(0) 编辑
Flink On Yarn中文乱码解决
摘要：业务场景： Flnk消费Kafka数据后，先入Hbase，经过校验后会发送数据到Kafka另一个topic，供另一个业务线消费入库。 组件版本： CDH：6.3.0 Flink：1.10 1. 问题描述 经发现结果数据库中中文为乱码，如图： 2. 问题定位 1、首先排查IDEA开发、编译各项编码，都 阅读全文
posted @ 2021-03-05 18:57 小跑、追幸福 阅读(3030) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示