摘要:
解决Teamcity VCS git-upload-pack not permitted on 阅读全文
摘要:
前言 本文首发自https://www.cnblogs.com/slankka/ 转载请注明出处。 本文的主要内容是介绍如何动态加载Flink作业的UDF。 动态加载 UDF 的前提 必须 -C 加入 Classpath (URLClassloader 支持的协议均可:例如 http://,file 阅读全文
摘要:
前言 因为最近的需求是做FlinkSQL平台,需要在实时计算平台上集成FlinkSQL功能,但目前刚刚有了研究成果,所以有了这篇笔记。 第一步:编写一个流 这里使用python编写的一个流,比Java简洁。 需要注意的是 pip install kakfa-python,不能是 pip instal 阅读全文
摘要:
FlinkSQL 和常见的SQL一样,也分为 DDL,DML,DQL,DCL。
本文的主要内容是探讨如何利用FlinkAPI 对多行SQL语句进行校验。 阅读全文
摘要:
背景 因为要开发Flinksql,决定要使用HiveCatalog的支持,Flink当前最新版本是1.12.2,集群Hive的版本是1.1.0,而且需要用某个Linux用户进行代理。 在实际开发中,遇到两个问题: Hive 1.1.0 使用的不是jdbc,而是 MetastoreClient,通过T 阅读全文
摘要:
Flink通过Flink-hive-connector来连接Hive,但是连接Hive报错,因为Hive-1.x 没有实现 secure impersonation。HADOOP_PROXY_USER是Hive 2.3.0才支持的,因此需要backport 阅读全文
摘要:
问题 报错 org.apache.flink.table.api.NoMatchingTableFactoryException: Could not find a suitable table factory for 'org.apache.flink.table.factories.Catalo 阅读全文
摘要:
场景 本文适用于 Zookeeper 集群版本 3.4.x全部。 有如下场景: 连接了需要保持ZK连接的服务(未启SASL,或者开启),例如Dubbo,同时还要连接到另一套集群,但是只有瞬时连接。 连接了需要保持ZK连接的服务(开启SASL),例如Yarn,但是同时还要连接到另一套需要保持连接的集群 阅读全文