Fork me on GitHub
摘要: 批量插入(Batch Insert) 批量处理:将多条数据合并成一个 INSERT 语句,一次性批量插入。这样可以显著减少数据库的交互次数,提高性能。 INSERT INTO your_table (column1, column2, ...) VALUES (value1, value2, ... 阅读全文
posted @ 2024-08-27 16:01 秋夜雨巷 阅读(1) 评论(0) 推荐(0) 编辑
摘要: 两千四百万数据量SQL查询 没有索引时 如果字段无索引,耗时十分钟 无索引查询过程 MySQL 需要对 2400 万条数据一一进行比较,假设每条记录的处理时间为 0.025 ms,那么总查询时间大约为 10 分钟(即 2400 万 × 0.025 ms)。 •全表扫描: 当查询 kh = '0335 阅读全文
posted @ 2024-08-23 11:00 秋夜雨巷 阅读(2) 评论(0) 推荐(0) 编辑
摘要: ThinkPHP6定时任务同步千万级流水数据 多数据源配置 自定义指令 定时同步单次1000条 <?php declare (strict_types = 1); namespace app\command\SyncDtaTask; use think\console\Command; use th 阅读全文
posted @ 2024-08-22 15:43 秋夜雨巷 阅读(2) 评论(0) 推荐(0) 编辑
摘要: mysqldump 在导出数据时,虽然只占用一个线程,但它仍然可能对线上环境产生影响。这些影响主要体现在以下几个方面: 1. I/O 负载 mysqldump 在导出数据时需要从磁盘读取大量数据,并将其写入到导出的文件中。这会增加数据库服务器的磁盘 I/O 负载。如果服务器上同时有其他应用程序或查询 阅读全文
posted @ 2024-08-22 11:34 秋夜雨巷 阅读(1) 评论(0) 推荐(0) 编辑
摘要: 查看InnoDB的锁情况 SHOW ENGINE INNODB STATUS; 命令会返回一个包含详细InnoDB引擎状态的报告,其中包含当前锁的详细信息。在输出的 LATEST DETECTED DEADLOCK 部分找到死锁信息,并在 TRANSACTIONS 部分找到当前的锁等待信息。 查看 阅读全文
posted @ 2024-08-22 10:51 秋夜雨巷 阅读(1) 评论(0) 推荐(0) 编辑
摘要: Mysql数据的迁移 mysqldump mysqldump比较适合几十万上百万的较小数据的迁移使用 mysql load data load data infile 语句可以从一个文本文件中以很高的速度读入一个表中,性能大概是 insert 语句的几十倍,比较适合上千万级及更高的海量数据迁移使用 阅读全文
posted @ 2024-08-22 10:04 秋夜雨巷 阅读(2) 评论(0) 推荐(0) 编辑
摘要: show processlist show processlist; -- 或者 SELECT id, db, user, host, command, time, state, info from information_schema.PROCESSLIST WHERE 1=1 -- and co 阅读全文
posted @ 2024-08-20 10:32 秋夜雨巷 阅读(2) 评论(0) 推荐(0) 编辑
摘要: 索引的大小取决于数据类型、索引列的数量、索引的结构(如 B-Tree 或 Hash),以及数据库引擎的存储和管理方式。在 MySQL 中,最常见的索引类型是 B-Tree 索引(默认),可以通过几个关键因素来估算索引的大小。 影响索引大小的主要因素 1.数据类型: •整数类型(如 INT、BIGIN 阅读全文
posted @ 2024-08-16 16:59 秋夜雨巷 阅读(3) 评论(0) 推荐(0) 编辑
摘要: 情况 单表三千万数据量,只有id这一个索引无其他索引,这时候使用无索引的kh字段查询数据 分页查询优化 explain SELECT * FROM dev_log_27_2024 WHERE jd_kh = '14344692103' ORDER BY id DESC LIMIT 0,10000 带 阅读全文
posted @ 2024-08-16 16:50 秋夜雨巷 阅读(5) 评论(0) 推荐(0) 编辑
摘要: ThinkPHP6 .env文件 database.php数据库配置 配置 .env 文件 # 默认数据库配置 DB_CONNECTION=mysql DB_HOST=127.0.0.1 DB_PORT=3306 DB_DATABASE=default_db DB_USERNAME=root DB_ 阅读全文
posted @ 2024-08-14 14:55 秋夜雨巷 阅读(4) 评论(0) 推荐(0) 编辑