随笔分类 -  构建实时计算平台

上一页 1 2
【Flink系列七】构建实时计算平台——校验FlinkSQL
摘要：FlinkSQL 和常见的SQL一样，也分为 DDL,DML,DQL,DCL。 本文的主要内容是探讨如何利用FlinkAPI 对多行SQL语句进行校验。 阅读全文
posted @ 2021-04-19 18:15 一杯半盏 阅读(1296) 评论(0) 推荐(0) 编辑
【Flink系列六】构建实时计算平台——Flink 1.10+通过Kerberos连接HiveCatalog
摘要：背景 因为要开发Flinksql，决定要使用HiveCatalog的支持，Flink当前最新版本是1.12.2，集群Hive的版本是1.1.0，而且需要用某个Linux用户进行代理。 在实际开发中，遇到两个问题： Hive 1.1.0 使用的不是jdbc，而是 MetastoreClient，通过T 阅读全文
posted @ 2021-03-15 15:41 一杯半盏 阅读(1370) 评论(0) 推荐(0) 编辑
【Flink系列五】构建实时计算平台——flink-connector-hive连接HiveMetastore遇到问题
摘要：Flink通过Flink-hive-connector来连接Hive，但是连接Hive报错，因为Hive-1.x 没有实现 secure impersonation。HADOOP_PROXY_USER是Hive 2.3.0才支持的，因此需要backport 阅读全文
posted @ 2021-01-08 11:06 一杯半盏 阅读(1402) 评论(0) 推荐(0) 编辑
【Flink系列四】构建实时计算平台——Flink SQLClient启动失败的问题笔记
摘要：问题 报错 org.apache.flink.table.api.NoMatchingTableFactoryException: Could not find a suitable table factory for 'org.apache.flink.table.factories.Catalo 阅读全文
posted @ 2021-01-05 17:46 一杯半盏 阅读(5984) 评论(0) 推荐(0) 编辑
【Flink系列三】构建实时计算平台——特别篇，Influxdb Java客户端访问指标数据
摘要：Influxdb Java客户端 Influxdb 的Docker版本目前最高是1.8.3. 官方最高版本是2.0. Note: We recommend using the new client libraries on this page to leverage the new read (vi 阅读全文
posted @ 2020-10-29 17:24 一杯半盏 阅读(1673) 评论(1) 推荐(0) 编辑
【Flink系列二】构建实时计算平台——特别篇，用InfluxDb收集Flink Metrics
摘要：Influxdb 快速入门 原文地址：https://www.cnblogs.com/slankka/p/13865338.html 从Docker启动 Influxdb docker pull influxdb:LATEST docker run -d --name influxdb -p 808 阅读全文
posted @ 2020-10-23 17:38 一杯半盏 阅读(2207) 评论(0) 推荐(0) 编辑
【Flink系列一】构建实时计算平台——Flink开启和恢复Checkpoint
摘要：前言 Flink提供了Checkpoint/Savepoint来保存状态，以便在出错时进行恢复，在上一个状态的基础上恢复计算流程。 问题 1. 如何开启Checkpoint？ Flink-Checkpointing // get the execution environment final Str 阅读全文
posted @ 2020-10-23 17:20 一杯半盏 阅读(4306) 评论(0) 推荐(1) 编辑

上一页 1 2