代码改变世界

随笔档案-2023年08月

mongodb报错not authorized on testdb to execute command

2023-08-31 11:01 by abce, 1662 阅读, 收藏, 编辑
摘要: 用户反馈说没有权限,报错如下: not authorized on testdb to execute command { find: "Schedule", filter: {}, skip: 0, limit: 20, maxTimeMS: 60000, lsid: { id: UUID("41 阅读全文

MySQL 8与复制可观察性

2023-08-26 18:50 by abce, 129 阅读, 收藏, 编辑
摘要: 许多老MySQL DBA都使用show replica status中的seconds_behind_source来了解(异步)复制的状态和正确执行情况。 不过,MySQL复制已经有了很大的发展,复制团队已经努力为MySQL的所有复制方式提供了大量有用的信息。 例如,增加了并行复制、组复制..... 阅读全文

mysql中truncate表对auto_increment的影响

2023-08-26 18:47 by abce, 240 阅读, 收藏, 编辑
摘要: 在mysql中,如果对表执行truncate操作后,会重新设置auto_increment的值,比如: root@localhost (none)>use abce; Database changed root@localhost abce>create table test(id int not 阅读全文

xtrabackup支持的压缩算法的变化

2023-08-25 10:52 by abce, 516 阅读, 收藏, 编辑
摘要: 最近在debain 11中尝试使用xtrabackup version 8.0.32-26备份MySQL的时候,发现debain 11中很难找到qpress的安装包。顺便看了一下xtrabackup支持的压缩算法。 查看xtrabackup version 8.0.32-26的帮助信息: --com 阅读全文

MySQL告警"[Warning] Connection attributes of length 571 were truncated"

2023-08-21 10:41 by abce, 159 阅读, 收藏, 编辑
摘要: 有时候会在mysql的错误日志中看到如下报错"[Warning] Connection attributes of length 571 were truncated"。比如: 2023-08-20T13:23:15.265489Z 47753433 [Warning] Connection att 阅读全文

MongoDB的性能监控和故障排除的强大工具FTDC(Full-Time Diagnostics Capture)

2023-08-20 21:07 by abce, 713 阅读, 收藏, 编辑
摘要: MongoDB的FTDC(全时诊断捕获)是一项强大的诊断功能,可捕获关于MongoDB数据库性能、操作和行为的详细信息。它为数据库的运行提供了有价值的深入洞察,有助于性能监控和故障排除。 在本文中,将深入探讨MongoDB的FTDC(全时诊断数据捕获)功能的强大功能。将探讨它如何捕获有关MongoD 阅读全文

MySQL中查询和事务的大小

2023-08-20 15:47 by abce, 701 阅读, 收藏, 编辑
摘要: 有时候了解事务的大小非常重要,尤其是当计划迁移到HA环境,为了保证集群的最佳性能,事务的大小是有限制的。 这里来尝试分析一下了解事务大小的不同方法。 首先要将事务分成两种类型:1.生成数据的事务(写操作,比如insert、delete、update等DML操作)2.只读的事务(查询操作) 在HA环境 阅读全文

探索MySQL 8的事务数据字典:数据库对象信息存储

2023-08-14 09:53 by abce, 100 阅读, 收藏, 编辑
摘要: MySQL 8带来了重大的架构变革,用事务数据字典(TDD)这种更高效、更可靠的方法取代了传统的基于MyISAM引擎的系统表。这一升级极大地改进了元数据的管理和存储,从而提高了各种数据库对象的可靠性和可扩展性。本文将通过实际案例探讨MySQL 8事务数据字典的复杂性、优势及其在现实生活中的应用。 I 阅读全文

MySQL 8.0长事务查看

2023-08-10 09:32 by abce, 63 阅读, 收藏, 编辑
摘要: 查看长时间运行的事务: SELECT thr.processlist_id AS mysql_thread_id, concat(PROCESSLIST_USER,'@',PROCESSLIST_HOST) User, Command, FORMAT_PICO_TIME(trx.timer_wait 阅读全文

clickhouse备份遇到的问题和处理

2023-08-09 09:18 by abce, 539 阅读, 收藏, 编辑
摘要: 错误一使用以下命令备份表的时候报错: ck :) backup table abce.tb to disk('backups', 'tb.zip'); BACKUP TABLE abce.tb TO disk('backups', 'tb.zip') Query id: bc17655c-cd6f- 阅读全文

ClickHouse的备份和还原

2023-08-08 14:30 by abce, 494 阅读, 收藏, 编辑
摘要: 首先要指定备份路劲。可以备份在本地,NFS挂载路径,甚至备份在S3上。配置文件: /etc/clickhouse-server/config.d/backup.xml 例如: <clickhouse> <storage_configuration> <disks> <backups> <type>l 阅读全文

ClickHouse中的Hash Join, Parallel Hash Join, Grace Hash Join

2023-08-07 17:39 by abce, 475 阅读, 收藏, 编辑
摘要: 查询管道(Query Pipeline)ClickHouse是为快速而设计。ClickHouse中的查询以高度并行的方式进行处理,尽可能地使用当前服务器上的所有必要资源,在许多情况下,硬件的利用率达到理论极限。服务器的CPU和内存越多,并行执行查询的性能就越高。 查询管道决定了每个查询执行阶段的并行 阅读全文

MySQL 8.0中的invisible功能

2023-08-06 16:37 by abce, 404 阅读, 收藏, 编辑
摘要: 在本文中,将讨论mysql 8.0中的几个新功能和一个旧功能。·invisible columns·generated invisible primary keys·invisible indexes 不可见的列(invisible columns)不可见的列功能自8.0.23版开始实现的。什么是不 阅读全文

如何监控MySQL数据库的还原进度

2023-08-04 21:00 by abce, 771 阅读, 收藏, 编辑
摘要: 还原MySQL数据库的备份是一项重要任务,有时可能很耗时,尤其是对于大型数据库。监控还原过程的进度对于估计完成时间和确保一切顺利进行至关重要。 在本文中,将探讨计算MySQL还原过程进度百分比的两种不同而有效的方法。 1.Linux本地输入/输出(I/O)统计信息 2.管道查看工具 通过这些方法,我 阅读全文

MySQL在线修改varchar列的注意事项和方法

2023-08-03 11:23 by abce, 383 阅读, 收藏, 编辑
摘要: 在数据库管理中,alter table操作是修改数据库结构的关键部分。mysql从5.6版开始提供在线操作,提供了一种在不锁定表的情况下执行这些更改的便捷方法。不过,这也有一些注意事项。在本文中,将探讨在线修改varchar列的过程,深入了解在扩大此类列的大小时获得的启发。 假设有以下表定义,该表要 阅读全文

mongostat命令的简单使用

2023-08-01 15:28 by abce, 690 阅读, 收藏, 编辑
摘要: 有点类似linux平台的vmstat命令,只不过mongostat输出的是mongodb实例的相关信息。 在命令行下使用,会间隔固定时间(默认1s)获取mongodb的当前运行状态,并输出结果。 例如:每秒打印一次,共打印20次​ # 连接到复制集 $ mongostat --host=20.20. 阅读全文

MySQL中动态SQL的解决方法:预处理语句

2023-08-01 11:09 by abce, 904 阅读, 收藏, 编辑
摘要: 动态SQL是一种很好的特性,允许开发人员在运行时动态构建和执行SQL语句。虽然MySQL缺乏对动态SQL的内置支持,但本文介绍了使用预处理语句(prepared statements)的变通方法。将探讨如何利用预处理语句实现动态查询执行、参数化查询以及动态表和列查询。 了解预处理语句(prepare 阅读全文

是否应将业务逻辑保存在数据库中?

2023-08-01 08:42 by abce, 152 阅读, 收藏, 编辑
摘要: 开源数据库架构师通常不会在数据库中实现业务逻辑。这与许多商业数据库的普遍做法形成了鲜明对比。在开源数据库中,所有启发式方法都保留在应用层,数据库对数据质量几乎没有影响。在商业数据库中,管理的要求规则由数据库本身处理,而不是依赖软件开发人员对规则的充分认识。 开源世界中的这一立场的部分原因是,过去在M 阅读全文
点击右上角即可分享
微信分享提示