摘要: 怎么监控Flink,如何监控Flink是FLink集群的第一要务,使用InflubDB和Grafana监控Flink,通过修改flink配置文件,收集flink metrics信息写入influxdb,通过grafana展示出来,设置告警阈值 阅读全文
posted @ 2019-10-12 17:45 博而不客 阅读(2044) 评论(2) 推荐(0) 编辑
摘要: 将flink日志收集到kafka最终写入es,elk实现日志聚合查看预警,能够实现查看输出的日志,flink+kafka+es+kibana+grafana 阅读全文
posted @ 2019-10-08 16:45 博而不客 阅读(4077) 评论(0) 推荐(0) 编辑
摘要: flink日志记录,对于错误日志通过logback邮件告警,flink结合logback邮件告警配置 阅读全文
posted @ 2019-09-30 17:11 博而不客 阅读(5432) 评论(0) 推荐(0) 编辑
摘要: 通过修改logback源码实现canal自定义变量输出,自定义ip地址、文件路径等输入在日志 阅读全文
posted @ 2019-09-30 16:46 博而不客 阅读(1442) 评论(0) 推荐(0) 编辑
摘要: 使用burrow监控Kafka Consumer Lag,通过telegraf将数据写入influxdb,接入grafana实现数据可视化,最终能够实现数据堆积告警。 阅读全文
posted @ 2019-09-20 13:49 博而不客 阅读(2945) 评论(0) 推荐(0) 编辑
摘要: 使用Prometheus和Grafana监控Spark应用终极方案,通过graphite_exporter将原生数据通过映射文件转化为有 label 维度的 Prometheus 数据 阅读全文
posted @ 2019-08-29 17:01 博而不客 阅读(5024) 评论(16) 推荐(1) 编辑
摘要: flink解析kafka canal binlog文件序列化问题 阅读全文
posted @ 2019-03-22 18:35 博而不客 阅读(3457) 评论(0) 推荐(0) 编辑
摘要: 用canal同步MySQL binlog到kafka,消费kafka topic乱码问题解决 阅读全文
posted @ 2019-03-13 16:03 博而不客 阅读(3709) 评论(1) 推荐(0) 编辑
摘要: hive中left/right join on连接中and与where的使用问题 阅读全文
posted @ 2018-12-13 10:51 博而不客 阅读(3108) 评论(0) 推荐(2) 编辑
摘要: 解决Azkaban日志中文乱码问题,Azkaban调度DataX或者Hive,获取日志中含有中文出现乱码问题解决,修改Azkaban源码解决日志乱码教程 阅读全文
posted @ 2018-07-26 11:08 博而不客 阅读(3706) 评论(0) 推荐(0) 编辑