随笔分类 - 随笔
摘要：1.摘要 近期，腾讯云数据库在文章「腾讯云TDSQL-C重磅升级，性能全面领跑云原生数据库市场」中提到，某些场景下性能有非常大的提升，且超过国内某橙色云厂商。恰好，在5月份，我们对各个厂商的云原生数据库进行过一次压测，所以，看到文章，我们第一时间做了验证。具体的，验证内容包括： 当前的TDSQL-C
阅读全文
摘要：1. 摘要 基于之前写的「云厂商 RDS MySQL 怎么选」的文章，为了进一步了解各云厂商在RDS MySQL数据库性能上的差异，本文将对自建MySQL、阿里云、腾讯云、华为云和AWS 的 RDS MySQL数据库性能进行对比说明。本文的压测结果仅作为参考，不作为购买建议。 2. 测试结果 从本文
阅读全文
摘要：摘要 Shadowserver Foundation在5月31日发布了一份全网的MySQL扫描报告，共发现了暴露在公网的360万个MySQL实例。因为这份报告基数够大，而且信息也非常完整，从数据库专业的角度来看，里面是有很多非常有意思，且可以量化的数据和结论的。之前网上的一些分析都是基于安全角度来分
阅读全文
摘要：1. 摘要 数据作为一家公司的重要资产，其重要程度不言而喻。数据库为数据提供存取服务，担任着重要的角色，如果因数据误删、服务器故障、病毒入侵等原因导致数据丢失或服务不可用，会对公司造成重大损失，所以数据库备份是数据系统中最为重要的一环。 MySQL备份按照类型分为逻辑备份、物理备份、快照备份，本文将
阅读全文
摘要：背景 阿里云RDS已经发展超过十年，在演进的过程中，其架构和规格已经变得比较复杂，本文尝试通过一张架构图，较为完整的概况RDS所支持的主要的架构类型、规格，帮助开发者从高可用、成本、可靠性等角度选择适合自己业务的RDS类型与规格。 具体的信息可以看：一张图读懂阿里云数据库架构与选型，或则关注公众号
阅读全文
摘要：1. 摘要 为了让大家更好的了解各云厂商在RDS MySQL数据库功能上的差异，也为给准备上云的同学做个参考，本文将对阿里云、腾讯云、华为云和AWS 的 RDS MySQL数据库进行对比说明。 从一个数据库运维者的角度来看，如果要上云，需要关注的数据库指标有：基础资源、架构、功能、安全、性能、价格等
阅读全文
摘要：简介 go-sniffer 可以抓包截取项目（MySQL、Redis、MongoDB）中的请求并解析成相应的语句，并格式化输出。类似于在之前的文章 MySQL抓包工具：MySQL Sniffer【转】中介绍的mysql-sniffer。而 go-sniffer 可以对更多数据库进行抓包分析，现在来介
阅读全文
摘要：背景 在介绍了一些ClickHouse相关的系列文章之后，大致对ClickHouse有了比较多的了解。它是一款非常优秀的OLAP数据库，为了更好的来展示其强大的OLAP能力，本文将介绍一些快速导入大量数据到ClickHouse的方法。如：通过文件、远程数据库等方式。 说明 一、其他数据库导入到Cli
阅读全文
摘要：背景 前面介绍了ClickHouse相关的系列文章，该系列文章包括了安装、权限管理、副本分片、配置说明等。这次介绍一些ClickHouse相关的系统命令，如重载配置文件、关闭服务和进程、停止和启动后台任务等。具体的信息可以看官方文档说明，顺也说明下set和optimize的命令。 说明 SYSTEM
阅读全文
摘要：背景 在之前写的文章【用户权限管理】里已经介绍了应该如何设置用户密码以及权限控制。但是只是针对修改配置文件的方式来进行用户权限管理，其实ClickHouse也支持基于RBAC（Role-Based Access Control）的访问控制管理，即通过SQL-driven来进行管理。在 RBAC 中，
阅读全文
摘要：背景 之前介绍过ClickHouse相关的系列文章，现在ClickHouse已经能正常使用起来了，包括副本和分片。因为ClickHouse已经可以提供服务了，现在需要关心的就是服务期间该数据库的各项性能指标的情况，如CPU、内存、查询等等。其实在安装完ClickHouse之后，有个内置的数据库sys
阅读全文
摘要：背景 以前介绍过ClickHouse相关的系列文章，现在继续说明。本文开始说明ClickHouse的副本与分片，和其他数据库一样，ClickHouse也会出现单节点故障和单节点资源到达上限的情况。所以针对上面的2个问题，就出现了副本和分片。副本：能避免单节点故障的问题，类似于MySQL的Replic
阅读全文
摘要：说明： 在扫盲MongoDB相关的一些知识的时候，做下笔记方便自己需要的时候查阅。本文将说明分片相关的内容。在比较早之前已经对这些有过说明，可以看MongoDB 分片的原理、搭建、应用。分片（sharding）是指将数据库拆分，将其分散在不同的机器上的过程。将数据分散到不同的机器上，不需要功能强大的
阅读全文
摘要：说明： 在扫盲MongoDB相关的一些知识的时候，顺手做下笔记。本文将说明副本集相关的内容。在比较早之前已经对这些有过说明，可以看MongoDB 副本集的原理、搭建、应用。MongoDB中的副本集是一组维护相同数据集的mongod进程，副本集提供冗余和高可用性，可提供一定程度的容错能力，以防止丢失单
阅读全文
摘要：背景 一般说MySQL的索引，都清楚其索引主要以B+树为主，此外还有Hash、RTree、FullText。本文简要说明一下MySQL的B+Tree索引，以及和其相关的二叉树、平衡二叉树、B-Tree，相关的知识网上很多，为了方便自己更快、清楚的了解，文本聚合一些内容以及个人的一些理解。 说明 二叉
阅读全文
摘要：背景 最近在扫盲MongoDB 4.2 的相关知识点，顺便记录下日常的一些操作。包括：用户管理、索引管理、引擎管理、副本集管理、分片管理等。本文对MongoDB的用户管理进行说明，以前有针对MogoDB 3.0的用户管理进行过说明：MongoDB 3.0 用户创建 本文MongoDB的配置文件模板：
阅读全文
摘要：背景 Redis作为目前全球最流行的KV存储，除了使用之外，还需要做好日常的运维工作。关于运维相关的工作，本文从以下方面进行介绍说明（Redis5.0以上）： 内存方面 客户端连接方面 工具方面 说明 内存方面 说明：第一个值是memory stats提供，第二个值是info memory提供 服务
阅读全文
摘要：背景 Redis是基于内存的KV数据库，内存作为存储介质，关注其内存的使用情况是一个重要指标，解析其内部的存储信息是给出优化方法和维护的最基本要求。解析内存有二种方法：第一个是通过scan遍历所有key，针对每个key进行分析（memory usage）；第二个是基于RDB文件进行所有key的分析（
阅读全文
摘要：背景 Redis3.0版本之后开始支持了Redis Cluster，Redis也开始有了分布式缓存的概念。关于Redis Cluster的相关说明，可以看之前的几篇文章：Redis Cluster 原理相关说明、redis-cli --cluster help说明。其架构如下： 因为 Redis C
阅读全文
摘要：背景 在Redis6.0之前的版本中，登陆Redis Server只需要输入密码（前提配置了密码 requirepass ）即可，不需要输入用户名，而且密码也是明文配置到配置文件中，安全性不高。并且应用连接也使用该密码，导致应用有所有权限处理数据，风险也极高。在Redis6.0有了ACL之后，终于解
阅读全文