构建实时计算平台 - 随笔分类 - 一杯半盏

【Flink系列二十四】Flink HistoryServer 实现原理分析-源码解读

摘要：Flink系列二十四 Flink HistoryServer 实现原理数据源头：Flink Runtime 对作业 ExecutionGraphInfo 进行归档首先，作业停止或者故障时，调用 HistoryServerArchivist 进行归档 public interface Histor 阅读全文

posted @ 2024-11-13 17:57 一杯半盏阅读(16) 评论(0) 推荐(0) 编辑

【Flink 系列二十三】hudi 消失的 HIVE_CONF_DIR，HIVE 读不到 hive-site.xml 读不到

摘要：本文记录这个问题是如何导致的，并记录如何向 Hive、Hudi 提供 hive-site.xml 以便正确加载，给 Flink 程序传入 HIVE_CONF_DIR，那么具体怎么做的,Flink的 CLASSPATH 已经提供了为何仍然加载不了 hive-site.xml 阅读全文

posted @ 2024-10-10 18:23 一杯半盏阅读(36) 评论(0) 推荐(0) 编辑

【Flink系列二十二】Hudi hive_sync JDO报错 Could not find API definition for name "JDO"

摘要：问题现象 Error : Could not find API definition for name "JDO". Perhaps you dont have the requisite datanucleus-api-XXX jar in the CLASSPATH? 2024-10-10 11 阅读全文

posted @ 2024-10-10 17:34 一杯半盏阅读(45) 评论(0) 推荐(0) 编辑

【Flink系列二十一】深入理解 JVM的类型加载约束，解决 Flink 类型加载冲突问题的通用方法

摘要：class ByteArrayDeserializer is not an instance of org.apache.kafka.common.serialization.Deserializer Debugging Classloading 类似的 X cannot be cast to X 阅读全文

posted @ 2023-12-29 12:22 一杯半盏阅读(178) 评论(0) 推荐(0) 编辑

【Flink系列二十】Flink Example AsyncIOExample long running 应用程序的应用

摘要：Flink 的源码内有这么一个AsyncIOExample程序，非常好用，可以用来无限跑流。用英文说就是long running或者runs forever。同时可以用来测试checkpoints，metricReporter。但很不幸，官方可能忘记加到maven ant插件的构建过程中。阅读全文

posted @ 2023-10-26 20:35 一杯半盏阅读(55) 评论(0) 推荐(0) 编辑

【Flink系列十九】Flink 作业Hadoop 依赖冲突解决NoSuchMethodError

摘要：问题 Flink 提交作业，直接报错: java.lang.NoSuchMethodError: org.apache.hadoop.tracing.TraceUtils.wrapHadoopConf(Ljava/lang/String;Lorg/apache/hadoop/conf/Configu 阅读全文

posted @ 2023-09-18 17:56 一杯半盏阅读(744) 评论(0) 推荐(0) 编辑

HDFS_DELEGATION_TOKEN过期的问题解决汇总

摘要：排查HDFS_DELEGATION_TOKEN过期问题，以及问题汇总。排查分为三种情况，Spark框架自身的问题，Hadoop全家桶的问题，开发者通过Hive,HDFS,HBASE访问HDFS的问题。阅读全文

posted @ 2023-09-12 12:13 一杯半盏阅读(392) 评论(0) 推荐(0) 编辑

【Flink系列十八】History Server 重新登场，如何实现Yarn日志集成

摘要：本文介绍了Flink 1.16的 HistoryServer 集成Yarn进行日志查看的方案，详细分析了Jobmanager和TaskManager的日志链接转换的方法。仅供参考。阅读全文

posted @ 2023-05-31 12:01 一杯半盏阅读(481) 评论(0) 推荐(0) 编辑

摘要：Flink On Yarn 的Classpath的传递过程分析。ClassNotFoundException: org.apache.hadoop.mapred.MRVersion 阅读全文

posted @ 2023-05-29 15:48 一杯半盏阅读(595) 评论(0) 推荐(0) 编辑

【Flink系列十六】PrometheusPushGatewayReporter 限流压力过大解决

摘要：主要内容：Flink指标上报限流阅读全文

posted @ 2022-08-03 14:45 一杯半盏阅读(396) 评论(0) 推荐(0) 编辑

【Flink系列十五】FLINK-24950 registerTemporaryFunction NullPointerException

摘要：解决FLINK-24950 registerTemporaryFunction NullPointerException，Hive使用1.1.0-CDH5.x.x 阅读全文

posted @ 2022-04-22 11:45 一杯半盏阅读(129) 评论(0) 推荐(0) 编辑

【Flink系列十四】Flink JVM参数不生效的问题分析和解决

摘要：Flink提交作业时，关于JVM参数无法读取或传递的原因阅读全文

posted @ 2022-04-11 19:27 一杯半盏阅读(2924) 评论(0) 推荐(0) 编辑

【Flink系列十三】Flink-Kafka-Connector KafkaSource FlinkKafkaConsumer没有上报指标

摘要：Flink 新版 KafkaSource没有上报任何指标，从官方Confluence上找到了答案。Flink-Kafka-Connector 至少 1.13.2 才能上报Kafka指标。阅读全文

posted @ 2022-03-24 19:53 一杯半盏阅读(661) 评论(0) 推荐(0) 编辑

【Flink系列十二】使用OpenResty 在InfluxDB协议层拦截Flink指标

摘要：使用OpenResty 在InfluxDB协议层拦截Flink指标的终极方案。阅读全文

posted @ 2022-03-13 20:47 一杯半盏阅读(166) 评论(0) 推荐(0) 编辑

【Flink系列十一】FlinkSQL Gateway以及支持Kerberos多租户的实现思路

摘要：FlinkSQLGateway实现思路，以及HiveCatalog多租户实现思路阅读全文

posted @ 2022-01-26 17:32 一杯半盏阅读(1225) 评论(0) 推荐(0) 编辑

【Flink系列十】Flink作业提交过程的调试和诊断

摘要：Flink服务端和客户端使用的配置文件不同，因此导致此差异，引发端口错误。并抛出 413 Request Entity Too Large错误，实在是具有迷惑性阅读全文

posted @ 2021-11-02 00:10 一杯半盏阅读(1119) 评论(0) 推荐(0) 编辑

【Flink系列九】Flink 作业提交遇到的问题记录以及原理

摘要：Could not find any factory for identifier 'mysql-cdc' that implements 'org.apache.flink.table.factories.DynamicTableSourceFactory' in the classpath 阅读全文

posted @ 2021-11-01 23:42 一杯半盏阅读(1551) 评论(0) 推荐(1) 编辑

【Flink系列八】构建实时计算平台——动态加载Catalog中的UDF

摘要：前言本文首发自https://www.cnblogs.com/slankka/ 转载请注明出处。本文的主要内容是介绍如何动态加载Flink作业的UDF。动态加载 UDF 的前提必须 -C 加入 Classpath （URLClassloader 支持的协议均可：例如 http://，file 阅读全文

posted @ 2021-05-10 17:06 一杯半盏阅读(1725) 评论(0) 推荐(0) 编辑

【Flink系列零】构建实时计算平台——FlinkSQL 作业菜鸟笔记

摘要：前言因为最近的需求是做FlinkSQL平台，需要在实时计算平台上集成FlinkSQL功能，但目前刚刚有了研究成果，所以有了这篇笔记。第一步：编写一个流这里使用python编写的一个流，比Java简洁。需要注意的是 pip install kakfa-python，不能是 pip instal 阅读全文

posted @ 2021-05-10 11:56 一杯半盏阅读(782) 评论(0) 推荐(0) 编辑

一杯半盏

随笔分类 - 构建实时计算平台

公告