随笔分类 - Flink
摘要:Apache Flink 可实现可扩展并行度的 ETL、数据分析以及事件驱动的流式应用程序。 Flink API 中的状态管理和时间介绍具体内容如下: 如何实现流数据处理管道(pipelines) Flink 如何管理状态以及为何需要管理状态 如何使用事件时间(event time)来一致并准确地进
阅读全文
摘要:
阅读全文
摘要:1、Flink参数配置 jobmanger.rpc.address:jobmanger的地址 jobmanger.rpc.port:jobmanger的端口 jobmanager.heap.mb:jobmanager的堆内存大小。不建议配的太大,1-2G足够。 taskmanager.heap.mb
阅读全文
摘要:一、基本概念 1.1 相关组件 Flink资源管理相关的组件: 一个Flink Cluster是由一个Flink Master 和多个Task Manager 组成的 Master和TaskManager 是进程级组件 其他的组件都是进程内的组件 如图: 一个flink master中有一个 Res
阅读全文