摘要:
需求背景 在flink中,我们使用druid datasource创建数据源: dataSource = DruidDataSourceFactory.createDataSource(prop); 现在我希望通过druid打印sql执行日志。 参考https://github.com/alibab 阅读全文
摘要:
问题描述 peer1节点(python程序往这个节点注册数据)日志: 12763988:07-17 18:39:45.268 WARN [] -- [TaskBatchingWorker-target_10.29.46.118-8] c.n.e.c.ReplicationTask:35: The r 阅读全文
摘要:
问题描述 线上突然出现,某一个消费者组下的部分分区无法消费。 kafka broker日志如下: [2024-07-16 17:44:58,548] INFO [GroupCoordinator 0]: Dynamic Member with unknown member id joins grou 阅读全文
摘要:
数据抽稀 如传感器5s上报一次数据,某些场景下,为了性能考虑,需要20s或者5min返回一个point select last(mileage) from device_data_old where deviceId= '00130846142' and time> now() -60m group 阅读全文
摘要:
进行状态转化的逻辑: org.springframework.statemachine.support.ReactiveStateMachineExecutor#queueEvent Flux<Message<E>> messages = Flux.merge(message, Flux.fromI 阅读全文
摘要:
需求描述 业务上经常会出现这样的问题:客户反馈某个业务今天查不到数据。怎么通过监控提前发现呢? 我们的业务场景是这样: 在mysql中,每小时、每天,会通过定时任务汇总统计车辆在道路上的作业情况(作业时间、里程、平均速度等)。 经常出现,某一个客户某一类型数据没算(表中没有新增数据)。 技术方案 1 阅读全文
摘要:
一:数据糊定义: 1、数据湖的出现,主要是为了去满足企业对原始数据的存储、管理和再加工的需求。首先要有一个低成本的存储,用于存储结构化、半结构化,甚至非结构化的数据;另外,有一套包括数据处理、数据管理以及数据治理在内的一体化解决方案。 2、从0到1搭建数据糊,原始数据存储在hdfs上,然后上层构建计 阅读全文
摘要:
前面写过一篇业务中使用 telegraf 的文章。 https://www.cnblogs.com/xushengbin/p/17974981#_label3 当时的业务场景是:把kafka中存储的json数据,写入到influxdb中。 最近又对telegraf的能力做了什么了解。 增加了两个业务 阅读全文
摘要:
目标 本文将讲述influxdb内存中都存了哪些数据? 什么情况下会导致内存占用暴增? 以及内存相关的配置。 我的influxdb配置 我的influxdb配置如下: /etc/influxdb/config.toml bolt-path = "/var/lib/influxdb/influxd.b 阅读全文
摘要:
问题描述 2024-04-14T14:59:51Z E! [outputs.influxdb_v2] Failed to write metric to iot (will be dropped: 422 Unprocessable Entity): unprocessable entity: fa 阅读全文