Flink流式引擎技术分析--大纲

Flink简介

  Flink组件栈

  Flink特性

    流处理特性

    API支持

    Libraries支持

    整合支持

  Flink概念

    Stream、Transformation、Operator

    Parallel Dataflow

    Task、Operator Chain

    Window

    Time

  Flink架构

    JobManager

    TaskManager

    Client

  Flink调度

    逻辑调度

    物理调度

  Flink容错

Flink的集群部署

  环境准备

  集群安装

  集群启动

  案例测试

整体执行过程

数据流图的分析

  生成执行计划

    源码分析

  StreamGraph的生成

    原理分析

    源码分析

  JobGraph的生成

    源码分析

    原理分析

  ExcutionGraph的生成

    源码分析

    原理分析

  物理执行图

    源码分析

transformation的类型

  分区器的类型

    GlobalPartitioner

    ForwardPartitioner

    ShufflePartitioner

    HashPartitioner

    CustomPartitionerWrapper

    BroadcastPartitioner

    RebalancePartitioner

Flink客户端提交作业

生成消费原理

  序列化阶段和结果分区生产阶段

  通知消费者消费

  消费者做具体消费

  反序列化阶段

Flink资源分配

  源码分析

  资源分配原理分析

Task的任务执行分析

posted @ 2018-03-17 15:32  liurio  阅读(876)  评论(0编辑  收藏  举报