摘要：
一、Docker安装Elasticsearch 1.拉取对应版本的镜像 docker pull elasticsearch:7.6.0 2.设置配置文件elasticsearch.yaml cluster.name: "docker-cluster" node.name: node-1 node.m 阅读全文
摘要：
一、Aysnc I/O 是啥？ 流计算系统中经常需要与外部系统进行交互，比如需要查询外部数据库以关联上用户的额外信息。Flink Async I/O API 允许用户在数据流中使用异步请求客户端访问外部存储。该API处理与数据流的集成，以及消息顺序性(Order)、事件时间(event time)、 阅读全文
摘要：
一、ProcessWindowFunction使用场景 前面提到的 ReduceFunction 和 AggregateFunction 都是基于中间状态实现增量计算的窗口函数，虽然已经满足绝大多数场景，但在某些情况下，统计更复杂的指标可能需要依赖于窗口中所有的数据元素，或需要操作窗口中的状态数据和 阅读全文
摘要：
一、AggregatFunction概念 Flink 的AggregateFunction是一个基于中间计算结果状态进行增量计算的函数,AggregateFunction接口相对ReduceFunction更加灵活，实现复杂度也相对较高，输入数据类型和输出数据类型可以不一致,通常和WindowFun 阅读全文
摘要：
一、ReduceFunction的概念 Flink使用ReduceFunction来对窗口中的元素进行增量聚合。要求输入和输出的数据类型一致，定义了如何把两个输入的元素进行合并来生成相同类型的输出元素的过程。 二、案例实践：每隔5秒统计通话日志的数量 1.日志数据对象 case class Log( 阅读全文