06 2024 档案

基于prometheus实现SQL监控方案

摘要：需求描述业务上经常会出现这样的问题：客户反馈某个业务今天查不到数据。怎么通过监控提前发现呢？我们的业务场景是这样：在mysql中，每小时、每天，会通过定时任务汇总统计车辆在道路上的作业情况（作业时间、里程、平均速度等）。经常出现，某一个客户某一类型数据没算（表中没有新增数据）。技术方案 1 阅读全文

posted @ 2024-06-07 11:38 耗子哥信徒阅读(169) 评论(0) 推荐(0) 编辑

关于数据湖、数据仓库的想法

摘要：一：数据糊定义： 1、数据湖的出现，主要是为了去满足企业对原始数据的存储、管理和再加工的需求。首先要有一个低成本的存储，用于存储结构化、半结构化，甚至非结构化的数据；另外，有一套包括数据处理、数据管理以及数据治理在内的一体化解决方案。 2、从0到1搭建数据糊，原始数据存储在hdfs上，然后上层构建计阅读全文

posted @ 2024-06-06 07:09 耗子哥信徒阅读(45) 评论(0) 推荐(0) 编辑