摘要: Flink监控信息写入到PushGateway出现 java.io.IOException: Response code from http xx was 200问题 阅读全文
posted @ 2020-05-22 16:35 博而不客 阅读(2718) 评论(0) 推荐(0) 编辑
摘要: Flink Heartbeat of TaskManager和Heartbeat of ResourceManager timed out心跳时间超时问题排查解决 阅读全文
posted @ 2020-04-22 11:30 博而不客 阅读(10911) 评论(0) 推荐(0) 编辑
摘要: 记录在自定义Flink1.10 Sql source Sink遇到的问题并将解决写在这里,方便以后查阅 阅读全文
posted @ 2020-03-20 15:22 博而不客 阅读(4614) 评论(0) 推荐(0) 编辑
摘要: 实时任务统一管理平台,监控、运维一体化的实时任务管理平台,flink任务统一提交平台 阅读全文
posted @ 2020-01-20 18:14 博而不客 阅读(2267) 评论(0) 推荐(0) 编辑
摘要: Flink akka AskTimeoutException问题排查,akka.pattern.AskTimeoutException: Ask timed out 问题解决 阅读全文
posted @ 2019-12-27 17:00 博而不客 阅读(12142) 评论(0) 推荐(2) 编辑
摘要: 通过log4j2将storm日志统一汇总写入到kafka,方便后续问题排查和实时的错误预警,可以通过es+kibana聚合分析,实现邮件或者电话告警 阅读全文
posted @ 2019-12-23 13:04 博而不客 阅读(972) 评论(1) 推荐(0) 编辑
摘要: 在生产中需要将一些数据发到kafka,而且需要做到EXACTLY_ONCE,kafka使用的版本为1.1.0,flink的版本为1.8.0,但是会很经常因为提交事务引起错误,甚至导致任务重启。 这些错误基本涉及到两阶段提交、事务、checkpoint。 查看kafka documentation和研究ProducerConfig这个类后发现 kafka producer 在使用EXACTLY_ONCE的时候需要增加一些配置 阅读全文
posted @ 2019-12-16 11:48 博而不客 阅读(10177) 评论(0) 推荐(0) 编辑
摘要: 在flink中消费多Topic并使用JSONKeyValueDeserializationSchema反序列化Kafka消息获取元数据信息,出现报错JSONKeyValueDeserializationSchema - Unrecognized token '': was expecting ('true', 'false' or 'null')问题解决 阅读全文
posted @ 2019-12-09 10:43 博而不客 阅读(7609) 评论(0) 推荐(0) 编辑
摘要: scala调用fastjson JSON.toJSONString()序列化对象出错,both method toJSONString in object JSON of type,scala使用fastjson序列化对象为空的问题 阅读全文
posted @ 2019-12-02 16:20 博而不客 阅读(3555) 评论(0) 推荐(0) 编辑
摘要: flink配置优化最佳实践,优化flink配置文件,配置文件详解 阅读全文
posted @ 2019-10-25 15:56 博而不客 阅读(5820) 评论(0) 推荐(0) 编辑