随笔分类 - 数据库
摘要：
MySQL服务端配置对使用方来说是不可更改的，需要联系DBA进行操作。这些配置操作对我们来说是一个黑盒，但是了解核心配置可以帮助我们快速定位数据库问题原因。
阅读全文
MySQL服务端配置对使用方来说是不可更改的，需要联系DBA进行操作。这些配置操作对我们来说是一个黑盒，但是了解核心配置可以帮助我们快速定位数据库问题原因。
阅读全文
摘要：
说到分布式事务，大家并不陌生。在实际工作中，用得比较多的还是柔性分布式事务，今天主要把在工作中运用到的几种柔性分布式事务的场景及实现方式做一个简单介绍，也可以看做是柔性分布式事务的一个演进过程。
阅读全文
说到分布式事务，大家并不陌生。在实际工作中，用得比较多的还是柔性分布式事务，今天主要把在工作中运用到的几种柔性分布式事务的场景及实现方式做一个简单介绍，也可以看做是柔性分布式事务的一个演进过程。
阅读全文
摘要：
本文从EXPLAIN分析SQL的执行计划开始，进行示例展示，并对输出结果进行解读，同时总结了EXPLAIN可产生额外的扩展信息以及EXPLAIN的估计查询性能，整篇文章基于MySQL 8.0编写，理论支持MySQL 5.0及更高版本。
阅读全文
本文从EXPLAIN分析SQL的执行计划开始，进行示例展示，并对输出结果进行解读，同时总结了EXPLAIN可产生额外的扩展信息以及EXPLAIN的估计查询性能，整篇文章基于MySQL 8.0编写，理论支持MySQL 5.0及更高版本。
阅读全文
摘要：
在mysql未支持json数据类型时，我们通常使用varchar、blob或text的数据类型存储json字符串，对mysql来说，用户插入的数据只是序列化后的一个普通的字符串，不会对JSON文档本身的语法合法性做检查，文档的合法性需要用户自己保证。在使用时需要先将整个json对象从数据库读取出来，在内存中完成解析及相应的计算处理，这种方式增加了数据库的网络开销并降低处理效率
阅读全文
在mysql未支持json数据类型时，我们通常使用varchar、blob或text的数据类型存储json字符串，对mysql来说，用户插入的数据只是序列化后的一个普通的字符串，不会对JSON文档本身的语法合法性做检查，文档的合法性需要用户自己保证。在使用时需要先将整个json对象从数据库读取出来，在内存中完成解析及相应的计算处理，这种方式增加了数据库的网络开销并降低处理效率
阅读全文
摘要：
本文介绍了分库分表的概念及优势,以及sharding-jdbc分库分表中间件,探究了sharding-jdbc的路由规则的执行流程
阅读全文
本文介绍了分库分表的概念及优势,以及sharding-jdbc分库分表中间件,探究了sharding-jdbc的路由规则的执行流程
阅读全文
摘要：
本文主要从TiDB的各类组件为起点，了解它的基础架构，并重点分析它在存储架构方面的设计，探究其如何组织数据，Table中的每行记录是如何在内存和磁盘中进行存储的。
阅读全文
本文主要从TiDB的各类组件为起点，了解它的基础架构，并重点分析它在存储架构方面的设计，探究其如何组织数据，Table中的每行记录是如何在内存和磁盘中进行存储的。
阅读全文
摘要：
本文对Clickhouse架构原理、语法、性能特点做一定研究，同时将其与mysql、elasticsearch、tidb做横向对比，并重点分析与mysql的语法差异，为有mysql迁移clickhouse场景需求的技术预研及参考。
阅读全文
本文对Clickhouse架构原理、语法、性能特点做一定研究，同时将其与mysql、elasticsearch、tidb做横向对比，并重点分析与mysql的语法差异，为有mysql迁移clickhouse场景需求的技术预研及参考。
阅读全文
摘要：
在Elasticsearch这样的分布式系统中执行类似SQL的join连接是代价是比较大的，然而，Elasticsearch却给我们提供了基于水平扩展的两种连接形式
阅读全文
在Elasticsearch这样的分布式系统中执行类似SQL的join连接是代价是比较大的，然而，Elasticsearch却给我们提供了基于水平扩展的两种连接形式
阅读全文
摘要：
Elasticsearch的查询语句维护成本较高、在聚合计算场景下出现数据不精确等问题。Clickhouse是列式数据库，列式型数据库天然适合OLAP场景，类似SQL语法降低开发和学习成本，采用快速压缩算法节省存储成本，采用向量执行引擎技术大幅缩减计算耗时。所以做此对比，进行Elasticsearch切换至Clickhouse工作。
阅读全文
Elasticsearch的查询语句维护成本较高、在聚合计算场景下出现数据不精确等问题。Clickhouse是列式数据库，列式型数据库天然适合OLAP场景，类似SQL语法降低开发和学习成本，采用快速压缩算法节省存储成本，采用向量执行引擎技术大幅缩减计算耗时。所以做此对比，进行Elasticsearch切换至Clickhouse工作。
阅读全文
摘要：
最近在阅读《认知觉醒》这本书，里面有句话非常打动我：通过自己的语言，用最简单的话把一件事情讲清楚，最好让外行人也能听懂。希望借助今天这篇文章，能用大白话说清楚这个相对比较底层和复杂的MVCC机制
阅读全文
最近在阅读《认知觉醒》这本书，里面有句话非常打动我：通过自己的语言，用最简单的话把一件事情讲清楚，最好让外行人也能听懂。希望借助今天这篇文章，能用大白话说清楚这个相对比较底层和复杂的MVCC机制
阅读全文
摘要：
最近想看看 rust 如何集成 clickhouse，又犯了好吃懒做的心理（不想自己建环境），刚好京东云发布了兼容ck 的云原生数仓 Starwfit，于是搞了个实例折腾一番。
Starwfit 是京东云自主研发的新一代云原生数据仓库,通过存算分离降低了存储成本，同时兼具性能和扩展弹性。其写入和查询速度可达到传统数据仓库的数倍，为用户提供实时数据分析能力。广泛应用于流量分析、精准营销、用户画像、广告实时竞价、BI报表分析、日志分析、促销选品、物联网等业务场景。
言归正传，看看 rust 如何与 starwift 打交道。
阅读全文
最近想看看 rust 如何集成 clickhouse，又犯了好吃懒做的心理（不想自己建环境），刚好京东云发布了兼容ck 的云原生数仓 Starwfit，于是搞了个实例折腾一番。
Starwfit 是京东云自主研发的新一代云原生数据仓库,通过存算分离降低了存储成本，同时兼具性能和扩展弹性。其写入和查询速度可达到传统数据仓库的数倍，为用户提供实时数据分析能力。广泛应用于流量分析、精准营销、用户画像、广告实时竞价、BI报表分析、日志分析、促销选品、物联网等业务场景。
言归正传，看看 rust 如何与 starwift 打交道。
阅读全文
摘要：
测试的覆盖通常是指需求范围的执行程度，如需求、测试用例、缺陷的正向与逆向的双向追溯。便于对其相关属性的度量，即使用了覆盖率。
阅读全文
测试的覆盖通常是指需求范围的执行程度，如需求、测试用例、缺陷的正向与逆向的双向追溯。便于对其相关属性的度量，即使用了覆盖率。
阅读全文
摘要：
定义： 相同文档结构（Mapping）文档的结合 由唯一索引名称标定 一个集群中有多个索引 不同的索引代表不同的业务类型数据 注意事项： 索引名称不支持大写 索引名称最大支持255个字符长度 字段的名称，支持大写，不过建议全部统一小写
阅读全文
定义： 相同文档结构（Mapping）文档的结合 由唯一索引名称标定 一个集群中有多个索引 不同的索引代表不同的业务类型数据 注意事项： 索引名称不支持大写 索引名称最大支持255个字符长度 字段的名称，支持大写，不过建议全部统一小写
阅读全文
摘要：随着业务的快速发展、业务复杂度越来越高，几乎每个公司的系统都会从单体走向分布式，特别是转向微服务架构。随之而来就必然遇到分布式事务这个难题，这篇文章通过seata框架总结了分布式事务的几种解决方案。
阅读全文
摘要：
作者：郑啟龙 摘要： 对于MYSQL的INNODB存储引擎的索引，大家是不陌生的，都能想到是 B+树结构，可以加速SQL查询。但对于B+树索引，它到底“长”得什么样子，它具体如何由一个个字节构成的，这些的基础知识鲜有人深究。本篇文章从MYSQL行记录开始说起，层层递进，包括数据页，B+树聚簇索引，B
阅读全文
作者：郑啟龙 摘要： 对于MYSQL的INNODB存储引擎的索引，大家是不陌生的，都能想到是 B+树结构，可以加速SQL查询。但对于B+树索引，它到底“长”得什么样子，它具体如何由一个个字节构成的，这些的基础知识鲜有人深究。本篇文章从MYSQL行记录开始说起，层层递进，包括数据页，B+树聚簇索引，B
阅读全文
摘要：
作者：谢泽华 背景 众所周知单个机房在出现不可抗拒的问题（如断电、断网等因素）时，会导致无法正常提供服务，会对业务造成潜在的损失。所以在协同办公领域，一种可以基于同城或异地多活机制的高可用设计，在保障数据一致性的同时，能够最大程度降低由于机房的仅单点可用所导致的潜在高可用问题，最大程度上保障业务的用
阅读全文
作者：谢泽华 背景 众所周知单个机房在出现不可抗拒的问题（如断电、断网等因素）时，会导致无法正常提供服务，会对业务造成潜在的损失。所以在协同办公领域，一种可以基于同城或异地多活机制的高可用设计，在保障数据一致性的同时，能够最大程度降低由于机房的仅单点可用所导致的潜在高可用问题，最大程度上保障业务的用
阅读全文
摘要：
作者：贾世闻 我们在开发应用后端系统的时候经常要和各种数据库、缓存等资源打交道。这一期，我们聊聊如何访问redis 并将资源池化。 在一个应用后端程序访问redis主要要做的工作有两个，单例和池化。 在后端应用集成redis，我们主要用到以下几个crate: once_cell、 re
阅读全文
作者：贾世闻 我们在开发应用后端系统的时候经常要和各种数据库、缓存等资源打交道。这一期，我们聊聊如何访问redis 并将资源池化。 在一个应用后端程序访问redis主要要做的工作有两个，单例和池化。 在后端应用集成redis，我们主要用到以下几个crate: once_cell、 re
阅读全文
摘要：
作者：李玉亮 引言 数据库事务与大多数后端软件开发人员的工作密不可分，本文从事务理论、事务技术、事务实践等方面对常用的相关事务知识进行整理总结，供大家参考。 事务理论介绍 事务定义 在数据库管理系统中，事务是单个逻辑或工作单元，有时由多个操作组成，在数据库中以一致模式完成的逻辑处理称为事务。一个例子
阅读全文
作者：李玉亮 引言 数据库事务与大多数后端软件开发人员的工作密不可分，本文从事务理论、事务技术、事务实践等方面对常用的相关事务知识进行整理总结，供大家参考。 事务理论介绍 事务定义 在数据库管理系统中，事务是单个逻辑或工作单元，有时由多个操作组成，在数据库中以一致模式完成的逻辑处理称为事务。一个例子
阅读全文
摘要：
导语 VPN是一种通过公网连接两个或多个私网站点的专用网络，使得这些站点仿佛是通过专线连接在一起。IPSec是一套协议框架，用于保证数据传输的私密性，完整性，真实性。但是VPN网络经常会带来一些连通性上的问题，通常与MTU设置的不合理有关。本文通过一个实际案例，来具体分析解决这个问题。 作者：陆信宇
阅读全文
导语 VPN是一种通过公网连接两个或多个私网站点的专用网络，使得这些站点仿佛是通过专线连接在一起。IPSec是一套协议框架，用于保证数据传输的私密性，完整性，真实性。但是VPN网络经常会带来一些连通性上的问题，通常与MTU设置的不合理有关。本文通过一个实际案例，来具体分析解决这个问题。 作者：陆信宇
阅读全文
摘要：
1 背景 这是一个安静祥和没有bug的下午。作为一只菜鸡，时刻巩固一下基础还是很有必要的，如此的大好时机，就让我来学习学习mybatis如何使用。 这可和我看到的不一样啊，让我来看看项目里怎么写的。 我们项目中的Dao都继承于BaseDao，而BaseDao继承于SqlSessionDaoSuppo
阅读全文
1 背景 这是一个安静祥和没有bug的下午。作为一只菜鸡，时刻巩固一下基础还是很有必要的，如此的大好时机，就让我来学习学习mybatis如何使用。 这可和我看到的不一样啊，让我来看看项目里怎么写的。 我们项目中的Dao都继承于BaseDao，而BaseDao继承于SqlSessionDaoSuppo
阅读全文
