数据库
刷新
大数据集群内核参数调优

博主头像 tcp mem 相关 net.ipv4.tcp_rmem = 4096 131072 6291456 读取缓冲区，单位字节 net.ipv4.tcp_wmem = 4096 16384 4194304 发送缓冲区，单位字节 net.ipv4.tcp_mem = 760707 1014278 1521 ...

数据同步方式何来“高级”与“低级”之说？场景匹配才是真理！

博主头像 导读：数据同步方式的重要性对于数据集成领域的兴从业者不言而喻，选择正确的数据同步方式能让数据同步工作的成果事半功倍。目市面上的数据同步工具很多，提供的数据同步方式也有多种，不同的数据同步方式有什么区别？如何选择适合自己业务需求的数据同步方式呢？本文将对此进行深入分析，并深入剖析WhaleTunnel ...

《数据资产管理核心技术与应用》读书笔记-第四章：数据质量的技术实现（三）

博主头像 《数据资产管理核心技术与应用》是清华大学出版社出版的一本图书，全书共分10章，第1章主要让读者认识数据资产，了解数据资产相关的基础概念，以及数据资产的发展情况。第2～8章主要介绍大数据时代数据资产管理所涉及的核心技术，内容包括元数据的采集与存储、数据血缘、数据质量、数据监控与告警、数据服务、数据权限 ...

mybatis plus 常用知识汇总（保姆级教程！~）

博主头像 介绍： MyBatis-Plus 是基于 MyBatis 框架的一个增强工具，主要目的是简化 MyBatis 的开发过程，提供更加简洁、方便的 CRUD 操作。它是在保留 MyBatis 强大功能的基础上，通过封装和优化一些常见操作来提高开发效率。 MyBatis-Plus 提供了许多开箱即用的功能 ...

时空人工智能介绍

博主头像 时空人工智能 时空人工智能是AI领域的新型创新应用技术，定义为以时空为‘索引’对多源异构数据进行时空化治理和融合，并借力知识工程和AI算法进行智能化分析，从而挖掘知识和辅助决策。时空AI是地理空间智能、城市空间智能和时空大数据智能等的统一表示，包括从时空感知、认知到决策预知的多项核心技术。其应用生态 ...

hadoop基础知识分享(一)

博主头像 写在前面 今天学习hadoop部分的知识。 Hadoop 概述 Hadoop 是一个适合海量数据的分布式存储和分布式计算的平台。Hadoop 的处理思想是“分而治之”。它起源于 Google 的三篇文章：Google FS（GFS），MapReduce，BigTable。Hadoop 主要包含三个核 ...

海豚调度清理：使用 API 轻松清理工作流历史版本记录，一键减少关系日志和任务定义日志表的数据量

博主头像 本系列文章是 DolphinScheduler 由浅入深的教程，涵盖搭建、二开迭代、核心原理解读、运维和管理等一系列内容。适用于想对 DolphinScheduler了解或想要加深理解的读者。 推荐阅读： 海豚调度监控：使用图关系解决核心链路告警问题，减轻任务运维负担，用户五星好评！ 海豚调度 ...

入门指南 | Datavines 安装部署篇

博主头像 摘要：本文主要介绍基于源码部署 Datavines 和执行检查作业，内容主要分为以下几个部分： 平台介绍 快速部署 运行数据质量检查作业 Datavines 的目标是成为更好的数据可观测性领域的开源项目，为更多的用户去解决元数据管理和数据质量管理中遇到的问题。在此我们真诚欢迎更多的贡献者参与到社区建 ...

Redis使用场景

博主头像 Redis使用场景 目录 缓存 缓存穿透 缓存击穿 缓存雪崩 双写一致性 持久化 数据过期策略 数据淘汰策略 分布式锁 实现原理（setnx、redission） 其他 哨兵模式、集群脑裂 分片集群、数据读取规则 redis是单线程的却很快 缓存 一、缓存穿透 定义：查询一个不存在的数据，Mysql ...

My SQL 列转行操作

博主头像 原表结构如下，我们可以发现，“日运输量”和“车次”是在同一张表中相互独立的两个字段，即独立的两列数据，下面，我将系统中的测试数据以及代码全部放出来，以解释列转行的操作方法 原表数据库查询代码： 1 SELECT 2 yzrq AS 运作日期, 3 DATE_FORMAT( yzrq, '%Y-%m' ...

Percona Toolkit 神器全攻略（复制类）

博主头像 Percona Toolkit 神器全攻略（复制类） Percona Toolkit 神器全攻略系列共八篇，前文回顾： 前文回顾 Percona Toolkit 神器全攻略 Percona Toolkit 神器全攻略（实用类） Percona Toolkit 神器全攻略（配置类） Percona T ...

数据资产入表元年，企业如何抓住数据资产增值的机遇？

博主头像 近年来，政府将数据要素纳入了经济发展的重要指示性文件当中，希望利用数据驱动。《全国数据资源调查报告（2023年）》显示，2024年以来不少地方纷纷成立“数据集团”，加快盘活数据资产。作为数字经济时代的首要生产要素，数据将有望成为政府和企业财务报表以及财政收入的重要支持。 一、数据资产定义 数据资产是 ...

深度解析：基于离线开发的数据仓库转型落地案例

博主头像 在当今这个数据驱动的时代，各行各业都正经历着前所未有的变革。伴随技术的飞速发展，数据仓库作为企业数据管理与分析的核心，如何更好地发挥作用，助力企业保持业务的敏捷性与成本效益，成为大家关心的焦点问题。本文将通过具体案例分析，展现基于离线开发的数据仓库转型落地中的关键步骤与实施策略。 一、业务增长迅速， ...

<1···456···50>