【YashanDB知识库】swap空间使用超大报错
1.自关联外键插入数据时报错:YAS-02033 foreign key constraint violated parent key not found-YashanDB2.【YashanDB知识库】ycm托管数据库时,数据库非OM安装无法托管3.【YashanDB知识库】Java程序调用存储过程,在提取clob时报YAS-000044.【YashanDB知识库】kettle从DM8的number类型同步到YashanDB的varchar类型,存入是科学计数法形式的数据5.【YashanDB知识库】ODBC驱动类问题定位方法6.【YashanDB知识库】outline固化执行计划7.【YashanDB知识库】PHP使用OCI接口使用数据库绑定参数功能异常8.【YashanDB知识库】PHP使用ODBC驱动无法获取长度为256char以上的数据9.【YashanDB知识库】PHP使用ODBC使用数据库绑定参数功能异常10.【YashanDB知识库】YAC修改参数后关闭数据库夯住11.【YashanDB知识库】YAS-00103 no free block in dictionary cache12.【YashanDB知识库】YAS-00220, utf8 sequence is wrong13.【YashanDB知识库】YAS-02024 lock wait timeout, wait time 0 milliseconds14.【YashanDB知识库】YashanDB 开机自启15.【YashanDB知识库】yasql登录报错:YAS-0041316.【YashanDB知识库】表收集统计信息默认阈值引起SQL执行效率差17.【YashanDB知识库】调整NUMBER精度,再执行统计信息收集高级包偶现数据库异常退出18.【YashanDB知识库】含有NUL字节的varchar字符串查询时出现截断19.【YashanDB知识库】收集分区表统计信息采样率小于1导致SQL执行计划走偏20.【YashanDB知识库】手动停止统计信息自动收集任务导致的性能变差21.【YashanDB知识库】数据变化率超过阈值统计信息失效22.【YashanDB知识库】数据库审计shutdown immediate操作导致数据库异常退出23.【YashanDB知识库】同时设置默认值和非空约束时报错YAS-0207024.【YashanDB知识库】应用绑定参数的慢查询,慢日志抓取不到25.【YashanDB知识库】用户密码带@字符时exp和imp无法使用26.【YashanDB知识库】字段加上索引后,SQL查询不到结果27.【YashanDB知识库】存储过程报错snapshot too old28.【YashanDB知识库】virt虚拟内存远大于res内存问题分析
29.【YashanDB知识库】swap空间使用超大报错
30.【YashanDB知识库】oracle dblink varchar类型查询报错记录31.【YashanDB知识库】EXP导致主机卡死问题32.【YashanDB知识库】23.1.3.101版本创建物化视图coredump33.【YashanDB知识库】v$instance视图中实例角色含义不明确34.【YashanDB知识库】yac修改参数后关闭数据库hang住35.【YashanDB知识库】汇聚库23.1环境发生coredump36.【YashanDB知识库】离线升级一章22.2不支持直接升级到23.137.为何共享集群的高可用能力被频频称赞,它的机制有何不同?38.【YashanDB知识库】数据库使用shutdown immediate无响应导致coredump39.【YashanDB知识库】filter or改写问题40.【YashanDB知识库】stmt未close,导致YAS-00103 no free block in sql main pool part 0报错分析41.【YashanDB知识库】update/delete未选中行时,v$transaction视图没有事务,alter超时问题42.【YashanDB知识库】yasdb jdbc驱动集成BeetISQL中间件,业务(java)报autoAssignKey failure异常43.【YashanDB知识库】yasdb jdbc驱动集成druid连接池,业务(java)日志中有token IDENTIFIER start异常44.【YashanDB知识库】YashanDB的JDBC/OCI驱动如何设置字符编码45.【YashanDB知识库】绑定参数,同一个sql多个执行计划的问题46.【YashanDB知识库】服务端是GBK编码,导致从22.2.12.100升级到22.2.13.100失败问题47.【YashanDB知识库】开源调度框架Quartz写入Boolean值到YashanDB报错48.【YashanDB知识库】列与存储过程中重名变量/别名问题49.【YashanDB知识库】如何使用yasldr导入lob类型?50.【YashanDB知识库】如何远程连接、使用YashanDB?51.【YashanDB知识库】设置归档日志上限,但归档日志没自动清理,导致磁盘空间满52.【YashanDB知识库】使用select * 创建的物化视图无法进行查询重写53.【YashanDB知识库】账号被锁,如何分析具体原因54.【YashanDB知识库】自动选举配置错误引发的一系列问题55.【YashanDB知识库】IMP跨网络导入慢问题56.【YashanDB知识库】ycm纳管主机安装YCM-AGENT时报错“任务提交失败,无法连接主机”57.【YashanDB知识库】ycm托管数据库时,数据库非OM安装无法托管58.【YashanDB知识库】ycm托管数据库时报错OM host ip:127.0.0.1 is not support join to YCM59.【YashanDB知识库】自关联外键插入数据时报错:YAS-02033 foreign key constraint violated parent key not found60.【YashanDB知识库】statement级别的触发器在jdbc接口调用executeBatch时被多次触发61.【YashanDB数据库】大事务回滚导致其他操作无法执行,报错YAS-02016 no free undo blocks62.【YashanDB数据库】VMware虚拟机使用默认安装,在掉电之后数据库无法启动63.【YashanDB数据库】数据库运行正常,日志出现大量错误metadata changed64.【YashanDB数据库】由于网络带宽不足导致的jdbc向yashandb插入数据慢65.【YashanDB数据库】Mybatis-plus分页框架识别不到Yashandb66.【YashanDB数据库】PHP无法通过ODBC连接到数据库67.【YashanDB数据库】Ubuntu系统加载Yashan C驱动后无法使用PHP68.【YashanDB数据库】YAS-00413 wait for receive timeout69.【YashanDB数据库】YAS-02024 lock wait timeout, wait time 0 milliseconds70.【YashanDB数据库】YAS-02032 column type is incompatible with referenced column type71.【YashanDB数据库】YAS-02079 archive log mode must be enabled when database is in replication mode72.【YashanDB数据库】YAS-02143 invalid username/password, login denied73.【YashanDB数据库】yasboot查询数据库状态时显示数据库状态为off74.【YashanDB数据库】Yashandb表闪回业务表实践75.【YashanDB数据库】YashanDB如何回收表空间76.【YashanDB数据库】yasql登录有特殊字符@导致无法登录77.【YashanDB知识库】YMP元数据阶段二报错YAS-0420478.【YashanDB知识库】共享集群YAC换IP79.【YashanDB知识库】生成迁移报告失败,"报错未知类型错误异常:"80.【YashanDB知识库】主备延迟故障分析方法81.【YashanDB知识库】表数据量不多,lob数据段有大量空间,插入数据报错82.【YashanDB知识库】修改字段长度后,jdbc驱动接口报YAS-04007 Message:result set metadata changed异常83.【YashanDB知识库】执行sql语句时报YAS-04401 data type - expected, but BLOB got异常84.【YashanDB知识库】DBeaver无法访问数据库85.【YashanDB知识库】YAS-02025 no free space in virtual memory pool86.【YashanDB知识库】archivelog磁盘满导致数据库abnormal87.【YashanDB知识库】数据库获取时间和服务器时间不一致88.【YashanDB知识库】yasql对字符串中分号的判定89.【YashanDB知识库】单机升级典型问题及应急措施90.【YashanDB知识库】客户端字符集与数据库字符集兼容问题91.【YashanDB知识库】如何配置jdbc驱动使getDatabaseProductName()返回Oracle92.【YashanDB知识库】YAS-04110 invalid variant name93.【YashanDB知识库】查询YashanDB表空间使用率94.【YashanDB知识库】多表更新报错 YAS-04344 multi-table update is not supported95.【YashanDB知识库】yashandb执行包含带oracle dblink表的sql时性能差96.【YashanDB知识库】YMP迁移oracle不兼容给用户授权高级包97.【YashanDB知识库】php查询超过256长度字符串,数据被截断的问题98.【YashanDB知识库】如何查看共享集群共享盘的挂载关系问题描述
问题单
使用GROUP_CONCAT函数时,数据库swap表空间上涨厉害
测试用例
drop table tmp1;
create table tmp1(c1 int,c2 double,c3 varchar(500),c4 int);
begin
for i in 1 .. 4994196 loop
insert into tmp1 select random()*100000000,random()*5000000,'hello world test xxxxxiio','' from dual;
end loop;
commit;
end;
/
select c1,c2,LISTAGG(c3) value_list from tmp1 where c4 is null group by c1,c2 having to_char(LISTAGG(c3)) = '15395169080,15395169080';
-- 能出结果,(swap空间590M)
源表数据2百多M,这个group_concat sql使用1百多G swap空间还不够
select c1,c2,group_concat(c3) value_list from tmp1 where c4 is null group by c1,c2 having to_char(group_concat(c3)) = '15395169080,15395169080';
-- 出不来结果,swap空间越来越大,(直到128.063G,报错退出)
YAS-02025 no free space in virtual memory pool
select c1,c2,group_concat(c3) value_list from tmp1 where c4 is null group by c1,c2 ;
-- 能出结果,swap空间一直增大(直到33.188G,报错退出)
YAS-00103 no free block in application pool
select c1,c2,group_concat(c3) value_list from tmp1 group by c1,c2
-- 能出结果,swap空间一直增大(直到33.188G,报错退出)
YAS-00103 no free block in application pool
select c1,c2 from tmp1 group by c1,c2 ;
-- 能出结果,swap空间到一定大小停下(128M)4994196行
select group_concat(c3) value_list from tmp1 ;
-- 能出结果,swap空间一定大小停下(252M)
select * from (
select c1,c2,group_concat(c3) value_list from tmp1 where C4 is null group by c1,c2
) where to_char(value_list) = '15395169080,15395169080';
结论
-
23.2版本尝试该问题,现象相同。
-
确认内置函数group_concat,该函数返回lob类型,导致vm大量增长。该接口需要优化。
规避方法:
可以使用listagg替换group_concat。但是如果超过8000个字节,文本会被截断。
分析代码发现,group_concat返回的是lob类型,每一个分组都会申请一个lob空间,每一个lob空间都是88K大小,测试例子有4994196分组,所以它就会申请49941968*8K大小空vm空间,大概是304.8G大小,才能跑完,导致的问题。
代码分析如下
group_concat申请VM空间流程
调用流程
group_concat
group_concat返回lob类型,每一个分组都会申请一个lob空间
string转lob时,tmpVar是源表字段数据,调用anlLobAppend给value->vLob申请lob对象空间
VM空间申请
调用流程
vmAllocAndOpen
doVmAlloc
vmAllocSwap
vmAllocExtend
spcAllocExtent
doAllocExt
spcAllocDataFileExt
申请空间:
如上unitBlocks = 8,申请8个块的空间
如下:4是swap的表文件id
VM空间扩展
调用流程
spcAllocExtent
doExtendExt
spcExtendDatafile
dfExtend
dbExtendDevice
dbBuildDeviceBlocks
writeDevice
writeFile
write
一次扩大,写64M空间,8192*8192
合集:
YashanDB知识库
标签:
数据库
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 【.NET】调用本地 Deepseek 模型
· CSnakes vs Python.NET:高效嵌入与灵活互通的跨语言方案对比
· DeepSeek “源神”启动!「GitHub 热点速览」
· 我与微信审核的“相爱相杀”看个人小程序副业
· Plotly.NET 一个为 .NET 打造的强大开源交互式图表库