postgresql 数据库 update更新慢的原因(已解决)
* 博客文章部分截图及内容来自于学习的书本及相应培训课程以及网络其他博客,仅做学习讨论之用,不做商业用途。
* 如有侵权,马上联系我,我立马删除对应链接。
* @author Alan
* @Email no008@foxmail.com
正文
这几天 发现一条update的更新语句 (大约140000条数据) 竟然运行了一个小时还没有完成
下面是我的几点解决方案
我的update 语句 是从一个临时表更新值到另一个正式表
因为具体数据需要保密,我就不截图了 只说说大体思路,与方法
1.查看语句是否有问题
复制俩个一模一样的表 和数据 手动执行语句 发现不到一分钟就运行成功了 这样就可以确认语句没有问题
2.查找影响updata的因素
我的第一反应是不是有锁 有锁的情况会导致等待或者死锁
查询锁
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 | select w1.pid as 等待进程, w1.mode as 等待锁模式, w2.usename as 等待用户, w2.query as 等待会话, b1.pid as 锁的进程, b1.mode 锁的锁模式, b2.usename as 锁的用户, b2.query as 锁的会话, b2.application_name 锁的应用, b2.client_addr 锁的IP地址, b2.query_start 锁的语句执行时间 from pg_locks w1 join pg_stat_activity w2 on w1.pid=w2.pid join pg_locks b1 on w1.transactionid=b1.transactionid and w1.pid!=b1.pid join pg_stat_activity b2 on b1.pid=b2.pid where not w1.granted; |
SELECT pg_terminate_backend(pid) FROM pg_stat_activity WHERE pid='13828'
查询到有锁 把锁进程杀掉 重启服务 继续跟踪 发现5分钟后 又出现锁了 反复试了几次发现跟锁没有关系
3.查询参数
首先看的的 是shared_buffers 参数,发现也没有问题
4.收缩表 VACUUM
查询数据进程时,发现自动收缩 也执行10分钟还没好 就查询表收缩的情况
用于服务器监控,可查询进程,时间消耗与锁相关
SELECT C.relname 对象名称, l.locktype 可锁对象的类型, l.pid 进程id, l.MODE 持有的锁模式, l.GRANTED 是否已经对锁进行授权, l.fastpath, psa.datname 数据库名称, psa.usesysid 用户id, psa.usename 用户名称, psa.application_name 应用程序名称, psa.client_addr 连接的IP地址, psa.client_port 连接使用的TCP端口号, psa.backend_start 进程开始时间, psa.xact_start 事务开始时间, psa.query_start 事务执行此语句时间, psa.state_change 事务状态改变时间, psa.wait_event_type 等待事件类型, psa.wait_event 等待事件, psa.STATE 查询状态, backend_xid 事务是否有写入操作, backend_xmin 是否执事务快照, psa.query 执行语句, now( ) - query_start 持续时间 FROM pg_locks l INNER JOIN pg_stat_activity psa ON ( psa.pid = l.pid ) LEFT OUTER JOIN pg_class C ON ( l.relation = C.oid ) -- where l.relation = 'tb_base_apparatus'::regclass where relkind ='r' ORDER BY query_start asc
查询是否到达自动清理的表
SELECT c.relname 表名, (current_setting('autovacuum_analyze_threshold')::NUMERIC(12,4))+(current_setting('autovacuum_analyze_scale_factor')::NUMERIC(12,4))*reltuples AS 自动分析阈值, (current_setting('autovacuum_vacuum_threshold')::NUMERIC(12,4))+(current_setting('autovacuum_vacuum_scale_factor')::NUMERIC(12,4))*reltuples AS 自动清理阈值, reltuples::DECIMAL(19,0) 活元组数, n_dead_tup::DECIMAL(19,0) 死元组数 FROM pg_class c LEFT JOIN pg_stat_all_tables d ON C.relname = d.relname WHERE c.relname LIKE'tb%' AND reltuples > 0 AND n_dead_tup > (current_setting('autovacuum_analyze_threshold')::NUMERIC(12,4))+(current_setting('autovacuum_analyze_scale_factor')::NUMERIC(12,4))*reltuples;
然后发现死元祖太多
然后我手动收缩了这个表 之后更新的就快了
VACUUM FULL VERBOSE 表名; VACUUM FULL VERBOSE ANALYZE 表名;
学问:纸上得来终觉浅,绝知此事要躬行
为事:工欲善其事,必先利其器。
态度:道阻且长,行则将至;行而不辍,未来可期
.....................................................................
------- 桃之夭夭,灼灼其华。之子于归,宜其室家。 ---------------
------- 桃之夭夭,有蕡其实。之子于归,宜其家室。 ---------------
------- 桃之夭夭,其叶蓁蓁。之子于归,宜其家人。 ---------------
=====================================================================
* 博客文章部分截图及内容来自于学习的书本及相应培训课程以及网络其他博客,仅做学习讨论之用,不做商业用途。
* 如有侵权,马上联系我,我立马删除对应链接。 * @author Alan -liu * @Email no008@foxmail.com
转载请标注出处! ✧*꧁一品堂.技术学习笔记꧂*✧. ---> https://www.cnblogs.com/ios9/
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· AI与.NET技术实操系列(二):开始使用ML.NET
· 记一次.NET内存居高不下排查解决与启示
· 探究高空视频全景AR技术的实现原理
· 理解Rust引用及其生命周期标识(上)
· 浏览器原生「磁吸」效果!Anchor Positioning 锚点定位神器解析
· DeepSeek 开源周回顾「GitHub 热点速览」
· 物流快递公司核心技术能力-地址解析分单基础技术分享
· .NET 10首个预览版发布:重大改进与新特性概览!
· AI与.NET技术实操系列(二):开始使用ML.NET
· 单线程的Redis速度为什么快?
2017-12-15 疯狂Workflow讲义——基于Activiti的工作流应用开 PDF 下载