03 2020 档案

Flink SecurityContext 概览
摘要：在Flink中通过SecurityContext进行操作的权限验证，验证通过以后执行具体操作。接口中定义的一个方法如下： <T> T runSecured(Callable<T> securedCallable) throws Exception; Flink中在ClusterEntrypoint类 阅读全文
posted @ 2020-03-08 13:25 天添 阅读(543) 评论(0) 推荐(0)
Flink FileSystem抽象类了解
摘要：Flink在集群启动的第一个操作就是初始化文件系统。Flink中的文件系统主要有两个用途， 第一：Flink实现容错，存储程序状态，恢复数据，主要通过FsDataOutputStream实例来实现。第二：保存链接状态，避免每次创建链接的资源消耗。 Flink的文件系统功能定义主要在org.apach 阅读全文
posted @ 2020-03-07 21:14 天添 阅读(857) 评论(0) 推荐(0)
Flink 独立部署入口JobManager StandaloneSessionClusterEntrypoint启动调试
摘要：Flink独立部署通过start-cluster.sh启动集群，在JobManager启动时候，调用StandaloneSessionClusterEntrypoint。 将之前通过start-cluster.sh脚本启动得到的配置信息: /Library/Java/JavaVirtualMachi 阅读全文
posted @ 2020-03-05 16:54 天添 阅读(2553) 评论(0) 推荐(0)
Flink 独立部署flink-daemon.sh启动
摘要：#!/usr/bin/env bash ################################################################################ # Licensed to the Apache Software Foundation (ASF 阅读全文
posted @ 2020-03-05 14:05 天添 阅读(1332) 评论(0) 推荐(0)
Flink 独立部署jobmanager.sh启动
摘要：#!/usr/bin/env bash ################################################################################ # Licensed to the Apache Software Foundation (ASF 阅读全文
posted @ 2020-03-05 11:18 天添 阅读(786) 评论(0) 推荐(0)
Flink Standalone Cluster start-cluster.sh 启动脚本
摘要：#!/usr/bin/env bash ################################################################################ # Licensed to the Apache Software Foundation (ASF 阅读全文
posted @ 2020-03-05 00:18 天添 阅读(1283) 评论(0) 推荐(0)
Flink部署
摘要：Standalone Cluster 配置JAVA_HOME系统环境变量，conf/flink-conf.yaml： env.java.home key: /Library/Java/JavaVirtualMachines/jdk1.8.0_171.jdk/Contents/Home/ 配置jobm 阅读全文
posted @ 2020-03-04 17:45 天添 阅读(192) 评论(0) 推荐(0)
Flink源代码编译
摘要：编译环境： 系统：MAC，IOS 编译器：Idea 软件版本：JDK 1.8，Scala 2.12，maven 3.5.3 Flink版本：1.10 问题一：在runtime编译的过程中出现如下问题： error: scala.reflect.internal.MissingRequirementE 阅读全文
posted @ 2020-03-04 17:11 天添 阅读(480) 评论(0) 推荐(0)