摘要:
Flink监控信息写入到PushGateway出现 java.io.IOException: Response code from http xx was 200问题 阅读全文
摘要:
Flink Heartbeat of TaskManager和Heartbeat of ResourceManager timed out心跳时间超时问题排查解决 阅读全文
摘要:
记录在自定义Flink1.10 Sql source Sink遇到的问题并将解决写在这里,方便以后查阅 阅读全文
摘要:
实时任务统一管理平台,监控、运维一体化的实时任务管理平台,flink任务统一提交平台 阅读全文
摘要:
Flink akka AskTimeoutException问题排查,akka.pattern.AskTimeoutException: Ask timed out 问题解决 阅读全文
摘要:
通过log4j2将storm日志统一汇总写入到kafka,方便后续问题排查和实时的错误预警,可以通过es+kibana聚合分析,实现邮件或者电话告警 阅读全文
摘要:
在生产中需要将一些数据发到kafka,而且需要做到EXACTLY_ONCE,kafka使用的版本为1.1.0,flink的版本为1.8.0,但是会很经常因为提交事务引起错误,甚至导致任务重启。 这些错误基本涉及到两阶段提交、事务、checkpoint。
查看kafka documentation和研究ProducerConfig这个类后发现 kafka producer 在使用EXACTLY_ONCE的时候需要增加一些配置 阅读全文
摘要:
在flink中消费多Topic并使用JSONKeyValueDeserializationSchema反序列化Kafka消息获取元数据信息,出现报错JSONKeyValueDeserializationSchema - Unrecognized token '': was expecting ('true', 'false' or 'null')问题解决 阅读全文
摘要:
scala调用fastjson JSON.toJSONString()序列化对象出错,both method toJSONString in object JSON of type,scala使用fastjson序列化对象为空的问题 阅读全文
摘要:
flink配置优化最佳实践,优化flink配置文件,配置文件详解 阅读全文