Flink基础

什么是flink

Flink是一个框架和分布式处理引擎,用于对无界和有界数据流进行状态计算。

为什么选择Flink

1.流数据更改真实的反应了我们的生活方式

2.传统的数据架构是基于有限的数据集的

3.我们的目标

》低延迟

》高吞吐

》结果的准确性和良好容错性

那些行业需要处理流数据

电商和市场营销(数据报表、广告投放、业务流程需要)

物联网IOT(传感器实时采集和显示、实时警报、交通运输业)

电信业(基站流量调配)

银行和金融业(实时结算和通知推送、实时监测异常行为)

Flink主要特点

  • 事件驱动(event-driven)

 

  •  基于流的世界观

在flink的世界观中,一切都是由流组成的,离线数据是有界的流,实时数据是无界的流,这就是有界流和无界流

 

  •  分层API

越顶层的越抽象,表达含义越简明,使用越方便

越底层的越具体,表达能力越丰富,使用越灵活

 

  • 支持事件时间和处理时间

  • 精确一次的状态一致性保证

  • 低延迟,每秒处理数百万时间,毫秒级的响应

  • 与众多的常用存储系统连接

  • 高可用,动态扩展,实现7*24小时全天运行

 sparkStreaming VS  flink

  •  数据流和微批次

 

  •  数据模型

spark采用RDD模型,sparkStreaming的DStream实际上是一组组小批微数据RDD的集合

flink基本数据模型是数据流,以及事件序列

  • 运行时的架构

spark是批计算,将DAG划分为不同的stage,一个完成后才可以计算下一个

flink是标准的流执行模式,一个事件在一个节点处理完成可以直接发往下一个节点进行处理

 


 
 
 
 
 

posted @ 2021-10-22 11:48  咻咻咻变小富婆  阅读(34)  评论(0编辑  收藏  举报