01 2020 档案
Metrics在Flink系统中的使用分析
摘要:什么是metrics: Flink 提供的 Metrics 可以在 Flink 内部收集一些指标,通过这些指标让开发人员更好地理解作业或集群的状态。由于集群运行后很难发现内部的实际状况,跑得慢或快,是否异常等,开发人员无法实时查看所有的 Task 日志,比如作业很大或者有很多作业的情况下,该如何处理
阅读全文
Flink中使用Avro格式的自定义序列化反序列化传输
摘要:生产者配置: FlinkKafkaProducer09<DoubtEventPreformatDataAvro> convertOutTopicProducer = new FlinkKafkaProducer09<>( outputTopic, ConfluentRegistryAvroSeria
阅读全文
processFunction使用及SideOutPut替换Split实现分流
摘要:自定义processFunction函数: // 3.2 添加任务,使用{@link ProcessFunction}方便控制: 1. 忽略null数据,2. 旁路输出side output DetaiEventRuleExecutingProcessor executingProcessor =
阅读全文
Flink UDF--Table Functions&Aggregation Functions
摘要:1.Table Functions 表函数 与标量函数相似之处是输入可以0,1,或者多个参数,但是不同之处可以输出任意数目的行数。返回的行也可以包含一个或者多个列。 为了自定义表函数,需要继承TableFunction,实现一个或者多个evaluation方法。表函数的行为定义在这些evaluati
阅读全文