主要是解决,作为一个数据共享的数据库,存在的数据库统计,然后将计算的数据量输出到自己使用的数据库,进行主页面展示。
1、主要是解决,作为一个数据共享的数据库,存在的数据库统计,然后将计算的数据量输出到自己使用的数据库,进行主页面展示。
1 1、第一步,可以查询自己作为目标表的数据表的数据量。方便做条件过滤,如果数据量大于0,那么查询出所有字段,然后将is_sync标识位标为1。 2 select count(1) as count from 数据表名称 where CREATE_TIME > DATE_FORMAT(now(),'%Y-%m-%d 00:00:00') and TYPE="条件"; 3 2、第二步,过滤条件,如果count的数据量大于0那么修改标识位。否则不大于0,那么就将查询的数据量进行插入操纵。 4 3、第三步,如果查询出符合的数据,将这些数据进行标识位标识,然后方便过滤这些数据,不用查询。如此设计,是因为如果一天出现多次批量数据的导入,那么这样可以避免重复数据的统计。 5 实现数据统计的准确性和精准性。也可以直接查询今天批量导入的数据量。 6 select * from 数据表名称 where CREATE_TIME > DATE_FORMAT(now(),'%Y-%m-%d 00:00:00') and IS_SYNC = 0 and TYPE="条件" 7 4、第四步,将字段值设置为常量,将is_sync的标识位进行标识位为1。 8 5、第五步,更新,将这个字段,根据id进行更新。id是用来查询的关键字。is_sync是更新字段。 9 6、第六步,查询某个指定的数据表的数据统计量表输入。 10 7、第七步,表输出,将上一步,即第六步,查询出的数据量,将获取到字段,然后字段映射,最后执行即可。 11 注意:可以创建一个job,然后定时30分钟,执行,这样每天的数据量可以实施统计,在主页面进行展示。主要针对于多库的问题,然后将目标库统计的数据量存放到指定库。
分类:
Kettle
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 如何编写易于单元测试的代码
· 10年+ .NET Coder 心语,封装的思维:从隐藏、稳定开始理解其本质意义
· .NET Core 中如何实现缓存的预热?
· 从 HTTP 原因短语缺失研究 HTTP/2 和 HTTP/3 的设计差异
· AI与.NET技术实操系列:向量存储与相似性搜索在 .NET 中的实现
· 周边上新:园子的第一款马克杯温暖上架
· Open-Sora 2.0 重磅开源!
· 分享 3 个 .NET 开源的文件压缩处理库,助力快速实现文件压缩解压功能!
· Ollama——大语言模型本地部署的极速利器
· DeepSeek如何颠覆传统软件测试?测试工程师会被淘汰吗?
2017-11-13 关于yum网络版仓库(本地yum仓库的安装配置,如果没网了,做一个局域网内的yum仓库)
2016-11-13 Java Web应用的开发环境配置