初识Fink
概述
Fink用于处理计算的,如下图所示,将交易、日志、物联网、点击流的数据输入到Flink中进行处理计算,处理完成之后输出到应用、日志、数据库中。Flink是以流的方式对数据进行处理的,所谓流就是源源不断,每时每刻都在有序的产生,例如设备仪器运行数据就属于数据流,因为设备仪器无时无刻都再运行并产生数据。
流式数据处理
流式数据处理
数据就像河流一样,源源不断的产生数据,在处理数据时,来一个处理一个,这种处理模式被成为流式处理。数据流则就像聊天一样,来一条信息处理一次。
批处理
数据是以批量的方式发送数据,然后进行处理,批处理就像写作文一样,将大量的字符拼在一起然后再进行处理操作。
传统事务处理
传统事务是根据业务将不同的业务功能拆出多个服务,每个服务都会对数据库进行读写操作。在传统事务中,处理数据的模式是用户通过点击页面功能来产生事件,通过事件完成对数据库的读写操作。系统所产生的事件是源源不断的,所以传统事务模式也是数据流。传统事务处理的优点是来一个请求系统返回一个响应,事务处理可以很好的保证实时性,缺点是随着系统越发复杂,数据库中存储的数据越多,数据库的查询性能会下降,最终导致系统会很慢。
有状态的流处理
与传统业务处理不同之处在于,有状态的流处理会将每一次计算后的结果累加到内存的本地状态中,例如要计算温度平均值时,会将温度存储到数据库中并根据历史温度将数据存储到本地状态中,为了避免服务宕机后数据丢失,系统会定时持久化数据到硬盘中。
虽然道路是曲折的,但前途是光明的。
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步