代码改变世界

随笔档案-2023年01月

识别MySQL中活跃的数据库和用户

2023-01-31 17:32 by abce, 220 阅读, 收藏, 编辑
摘要: 可以使用各种方法来识别活跃数据库。我们可以根据数据文件更新的时间戳、慢日志中的条目,解析二进制日志,解析审计日志或通用日志。不过我们可以忽略提到的通用日志,因为它会消耗大量磁盘空间,是一种很大的开销。 故我们有以下方法来识别活跃的数据库对象: ·检查慢日志以识别正在查询的数据库对象。 ·在datad 阅读全文

SQLSserver数据文件碎片查看

2023-01-31 09:26 by abce, 94 阅读, 收藏, 编辑
摘要: CREATE TABLE #FileSize (dbName NVARCHAR(128), FileName NVARCHAR(128), type_desc NVARCHAR(128), CurrentSizeMB DECIMAL(10,2), FreeSpaceMB DECIMAL(10,2) 阅读全文

Mongo-Shake安装配置(2)

2023-01-28 11:53 by abce, 744 阅读, 收藏, 编辑
摘要: 下载地址 https://github.com/alibaba/MongoShake/releases 安装 # tar -zxvf mongo-shake-v2.8.2.tgz && mv mongo-shake-v2.8.2 mongoshake && mv mongoshake/ /usr/l 阅读全文

为什么大表会导致MySQL变慢

2023-01-28 11:52 by abce, 601 阅读, 收藏, 编辑
摘要: 虽然技术已经发展成熟,但仍有一些人认为MySQL仅适用于小型项目,或者它不能很好地处理大型表。 一些初创公司在早期就采用了MySQL,如Facebook、Uber、Pinterest等,这些公司现在都是成功的大公司,证明MySQL可以在大型数据库和大量使用的网站上运行。 随着磁盘速度越来越快,CPU 阅读全文

mysqldump最佳实践(2)

2023-01-26 12:00 by abce, 344 阅读, 收藏, 编辑
摘要: ​导入存储过程、函数和触发器 默认情况下,mysqldump导入视图和触发器。但是,它不导入过程、函数和事件。要导入过程和函数,应该指定--routines选项,要导入事件,应该指定--events选项。 1.导入触发器 mysqldump默认情况下尝试转储数据库中的所有触发器。为了能够转储表的触发 阅读全文

sqlserver事务日志太大的原因

2023-01-25 23:50 by abce, 1542 阅读, 收藏, 编辑
摘要: 数据库的日志文件 sqlserver的数据库日志文件是事务日志文件,记录了所有数据库的事务和修改,包含在数据库上的增、删、改操作信息。 如果日志文件满了,会报9002错误,且数据库只能提供读操作,不能被更新。 为什么事务日志文件会比较大? 原因有很多: ·日志文件没有被truncate。这是很常见的 阅读全文

mysqldump最佳实践(1)

2023-01-25 22:16 by abce, 280 阅读, 收藏, 编辑
摘要: 1.空间需求 首先,重要的是要确保目标数据库有足够的空间来保存导入的数据。具体来说,如果在目标MySQL数据库上启用了二进制日志,则需要非常谨慎,因为导入数据时生成的二进制日志可能与数据本身的大小几乎相同。如果希望在一台服务器上恢复数据并进行复制,则需要二进制日志。在这种情况下,最好将目标数据库大小 阅读全文

gtid的新特性assign_gtids_to_anonymous_transactions

2023-01-23 15:17 by abce, 199 阅读, 收藏, 编辑
摘要: 在MySQL8.0.23之前,想创建一个主从环境,主库不开启GTID、从库开启GTID,这是不可能的 MySQL8.0.23中引入了一个新特性:assign_gtids_to_anonymous_transactions,支持主从复制环境中,主库禁用GTID、从库开启GTID。从库必须设置gtid_ 阅读全文

Mongo-Shake介绍(1)

2023-01-23 14:01 by abce, 838 阅读, 收藏, 编辑
摘要: Mongo-Shake由阿里云Nosql团队开发和维护,是一个基于MongoDB的oplog的通用服务平台。从源mongo数据库中获取oplog,并在目标mongo数据库中重放或通过不同的tunnels发送到其他终端。如果目标端是mongo数据库,这意味着直接重放oplog,它就像一个同步工具,用于 阅读全文

SQL Server 2016 HA/DR方案

2023-01-22 12:58 by abce, 429 阅读, 收藏, 编辑
摘要: 1.Database Mirroring 数据库镜像传统上用于创建单个生产数据库的副本。但是,你可能要注意到,未来版本中,微软正在逐步淘汰SQL Server数据库镜像。推荐的功能替换为Basic Availability Groups或AlwaysOn Availability Groups。然而 阅读全文

数据库损坏指南(2)--B-Tree Index损坏

2023-01-22 12:58 by abce, 309 阅读, 收藏, 编辑
摘要: 在理解PostgreSQL索引损坏之前,要理解PostgreSQL是如何实现b-tree索引的。 B-tree索引结构 PostgreSQL中,B-tree索引结构是根据Lehman和Yao的高并发B-tree算法实现的。逻辑上,B-tree索引的层次结构由四种类型的页组成: ·元数据页 ·根页 · 阅读全文

数据库损坏指南(1)--概述

2023-01-20 09:31 by abce, 148 阅读, 收藏, 编辑
摘要: 一、概念与类比 对于数据库,它是关于存储在磁盘上的数据的格式。当数据库产品(如PostgreSQL、MySQL或MongoDB)对磁盘进行写操作时,会使用某种格式来执行。当从磁盘读取数据时,数据库产品期望磁盘上数据的格式相同;磁盘上的任何部分数据格式不合适就是损坏。 总的来说,损坏只是一种不恰当的格 阅读全文

Vacuum统计信息查看

2023-01-19 15:10 by abce, 97 阅读, 收藏, 编辑
摘要: 查看当前schema下所有表的vacuum历史 select n.nspname as schema_name, c.relname as table_name, c.reltuples as row_count, c.relpages as page_count, s.n_dead_tup as 阅读全文

SQLServer查看当前数据库正在运行的Session

2023-01-18 11:01 by abce, 929 阅读, 收藏, 编辑
摘要: SELECT des.session_id , des.status , des.login_name , des.[HOST_NAME], der.blocking_session_id , DB_NAME( der.database_id ) AS database_name, der.comm 阅读全文

PostgreSQL升级Extensions

2023-01-15 22:06 by abce, 701 阅读, 收藏, 编辑
摘要: PostgreSQL允许用户安装和使用扩展来为他们的数据库添加额外的功能。 在本文中,将以pg_stat_monitor扩展为例,介绍安装和升级PostgreSQL扩展的过程。pg_stat_monitor是一个PostgreSQL扩展,提供对数据库活动的实时监视和分析。它允许用户监视和跟踪各种性能 阅读全文

MySQL8升级对备份的影响

2023-01-13 08:59 by abce, 141 阅读, 收藏, 编辑
摘要: ​最近将MySQL5.7.26升级到8.0.27后,备份遇到了一些问题。 升级采用的是使用复制节点的备份,使用percona xtrabackup做的的物理备份。 对于MySQL5.7,用的是PXB2.4做的物理备份。考虑到兼容性的问题,在升级到MySQL8.0后,也将PXB升级到了8.0.27。 阅读全文

重复、冗余和不可见索引

2023-01-13 08:46 by abce, 82 阅读, 收藏, 编辑
摘要: 如何找出重复的索引? pt-duplicate-key-checker可以找出数据库中的表是否有重复的索引或主键。 对于每个重复的索引,pt-duplicate-key-checker会给出drop index语句。 比如: $ pt-duplicate-key-checker --host=loc 阅读全文

MySQL中的COUNT(*)和COUNT(col)

2023-01-12 18:09 by abce, 138 阅读, 收藏, 编辑
摘要: ​另一篇:difference between count(1) and count(*) 看看人们是如何使用COUNT(*)和COUNT(col)的,看起来大多数人都认为它们是同义词,只是使用他们喜欢的,而在性能甚至查询结果上都有实质性的差异。此外,我们还发现InnoDB和MyISAM引擎在执行上 阅读全文

MySQL使用分区快速归档数据

2023-01-07 15:08 by abce, 580 阅读, 收藏, 编辑
摘要: 对于我们中的许多人来说,空间限制一直是一个无尽而痛苦的过程,特别是在具有大量事务和几天内数据增长就能超过百GB的系统中。 在这篇文章中,我将分享一个解决方案,无论表的大小如何,使用表分区都可以在几秒钟内删除这个空间并从表中删除行,而不会对数据库造成任何额外的负载。 任何人想到的删除行的第一种方法是使 阅读全文

clickhouse-local

2023-01-06 16:47 by abce, 379 阅读, 收藏, 编辑
摘要: clickhouse-local可以使你能够对本地文件执行快速处理,而无需部署和配置ClickHouse Server。可以理解成是ClickHouse服务的单机版微内核,是一个轻量级的应用程序 clickhouse-local是clickhouse-client的一部分,clickhouse-lo 阅读全文

clickhouse安装

2023-01-06 12:30 by abce, 476 阅读, 收藏, 编辑
摘要: 检查当前的CPU是否支持SSE4.2 如果不支持SSE指令集,则不能直接使用先前下载的预编译安装包,需要通过源码编译特定的版本进行安装。 grep -q sse4_2 /proc/cpuinfo && echo "SSE 4.2 supported" || echo "SSE 4.2 not sup 阅读全文

fn_dblog()和fn_full_dblog()的使用

2023-01-03 20:08 by abce, 2369 阅读, 收藏, 编辑
摘要: SQL Server 2017中,函数fn_full_dblog()对函数fn_dblog()做了改进,允许用户读取事务日志中的活跃部分,检索对数据库修改活动的相关信息。 使用fn_dblog()要记住以下几点: 1.只是返回事务日志中活跃部分的内容,比如打开的事务、或上一个活动 2.这是一个文档中 阅读全文
点击右上角即可分享
微信分享提示