合集-助力长期平稳运行大数据作业
摘要：Flink 的源码内有这么一个AsyncIOExample程序，非常好用，可以用来无限跑流。用英文说就是long running或者runs forever。同时可以用来测试checkpoints，metricReporter。但很不幸，官方可能忘记加到maven ant插件的构建过程中。
阅读全文
摘要：class ByteArrayDeserializer is not an instance of org.apache.kafka.common.serialization.Deserializer Debugging Classloading 类似的 X cannot be cast to X
阅读全文
摘要：问题 Flink 提交作业，直接报错: java.lang.NoSuchMethodError: org.apache.hadoop.tracing.TraceUtils.wrapHadoopConf(Ljava/lang/String;Lorg/apache/hadoop/conf/Configu
阅读全文
摘要：排查HDFS_DELEGATION_TOKEN过期问题，以及问题汇总。排查分为三种情况，Spark框架自身的问题，Hadoop全家桶的问题，开发者通过Hive,HDFS,HBASE访问HDFS的问题。
阅读全文
摘要：本文介绍了Flink 1.16的 HistoryServer 集成Yarn进行日志查看的方案，详细分析了Jobmanager和TaskManager的日志链接转换的方法。仅供参考。
阅读全文
摘要：Flink On Yarn 的Classpath的传递过程分析。ClassNotFoundException: org.apache.hadoop.mapred.MRVersion
阅读全文
摘要：主要内容：Flink指标上报限流
阅读全文
摘要：解决FLINK-24950 registerTemporaryFunction NullPointerException，Hive使用1.1.0-CDH5.x.x
阅读全文
摘要：Flink提交作业时，关于JVM参数无法读取或传递的原因
阅读全文
摘要：Flink 新版 KafkaSource没有上报任何指标，从官方Confluence上找到了答案。Flink-Kafka-Connector 至少 1.13.2 才能上报Kafka指标。
阅读全文
摘要：使用OpenResty 在InfluxDB协议层拦截Flink指标的终极方案。
阅读全文
摘要：FlinkSQLGateway实现思路，以及HiveCatalog多租户实现思路
阅读全文
摘要：Flink服务端和客户端使用的配置文件不同，因此导致此差异，引发端口错误。并抛出 413 Request Entity Too Large错误，实在是具有迷惑性
阅读全文
摘要：Could not find any factory for identifier 'mysql-cdc' that implements 'org.apache.flink.table.factories.DynamicTableSourceFactory' in the classpath
阅读全文
摘要：前言 本文首发自https://www.cnblogs.com/slankka/ 转载请注明出处。 本文的主要内容是介绍如何动态加载Flink作业的UDF。 动态加载 UDF 的前提 必须 -C 加入 Classpath （URLClassloader 支持的协议均可：例如 http://，file
阅读全文
摘要：前言 因为最近的需求是做FlinkSQL平台，需要在实时计算平台上集成FlinkSQL功能，但目前刚刚有了研究成果，所以有了这篇笔记。 第一步：编写一个流 这里使用python编写的一个流，比Java简洁。 需要注意的是 pip install kakfa-python，不能是 pip instal
阅读全文
摘要：FlinkSQL 和常见的SQL一样，也分为 DDL,DML,DQL,DCL。
本文的主要内容是探讨如何利用FlinkAPI 对多行SQL语句进行校验。
阅读全文
摘要：背景 因为要开发Flinksql，决定要使用HiveCatalog的支持，Flink当前最新版本是1.12.2，集群Hive的版本是1.1.0，而且需要用某个Linux用户进行代理。 在实际开发中，遇到两个问题： Hive 1.1.0 使用的不是jdbc，而是 MetastoreClient，通过T
阅读全文
摘要：Flink通过Flink-hive-connector来连接Hive，但是连接Hive报错，因为Hive-1.x 没有实现 secure impersonation。HADOOP_PROXY_USER是Hive 2.3.0才支持的，因此需要backport
阅读全文
摘要：问题 报错 org.apache.flink.table.api.NoMatchingTableFactoryException: Could not find a suitable table factory for 'org.apache.flink.table.factories.Catalo
阅读全文
