【YashanDB知识库】关于表空间压缩
1.【YashanDB知识库】yasql执行报错2.【YashanDB知识库】YCM Monit进程频繁误告警3.【YashanDB知识库】ycm托管主机报错libnsl.so.1 no such file or directory4.【YashanDB知识库】安装共享集群时报错:YAS-05721 invalid input parameter, reason: node name invalid5.【YashanDB知识库】调用外部UDF未能识别Java环境配置6.【YashanDB知识库】个别数据库用户无法登录数据库,报错 io fail:IO.EOF7.【YashanDB知识库】过期统计信息导致SQL执行计划变差8.【YashanDB知识库】隐藏参数怎么查看初始值9.【YashanDB知识库】原生mysql驱动配置连接崖山数据库10.【YashanDB知识库】yashandb升级后,yasboot restart出现版本回退、报错control file version incompatible11.【YashanDB知识库】解压安装包时报错"tar:Error is not recoverable"12.【YashanDB知识库】如何使用MySQL客户端链接YashanDB13.【YashanDB知识库】YashanDB 单机一主一备自动切换14.【YashanDB知识库】YashanDB到YashanDB手工元数据迁移15.【YashanDB知识库】YFS_修改AU_SIZE参数16.【YashanDB知识库】YashanDB备份恢复的两种渠道17.【YashanDB知识库】YashanDB获取统计信息
18.【YashanDB知识库】关于表空间压缩
19.【YashanDB知识库】如何更改自动统计信息收集任务20.【YashanDB知识库】如何利用数据库线程池稳定TP吞吐21.【YashanDB知识库】为什么YashanDB只有Geometry类型,没有Geogrephy类型22.【YashanDB知识库】用crontab实现YashanDB自动备份23.【YashanDB知识库】YashanDB与Oracle数据类型对齐24.【YashanDB知识库】多csv文件一键式导入yashandb25.【YashanDB知识库】手工迁移Doris数据到崖山分布式26.【YashanDB知识库】锁冲突检查27.【YashanDB知识库】重装新库及元数据和数据导出导入指导28.【YashanDB知识库】Mybatis-Plus适配崖山配置29.【YashanDB知识库】WAS配置YashanDB JDBC连接30.【YashanDB知识库】YashanDB安全设置示例31.【YashanDB知识库】YashanDB查询时间与实际时间默认少8小时32.【YashanDB知识库】Yasldr错误处理33.【YashanDB知识库】YCM和YMP密码重置34.【YashanDB知识库】YCM数据库托管遇到的问题35.【YashanDB知识库】备库扩缩容指导36.【YashanDB知识库】非YCM方式的自动备份方案示例37.【YashanDB知识库】归档日志清理38.【YashanDB知识库】私有maven使用崖山JDBC驱动39.【YashanDB知识库】通过导入导出修改用户名称40.【YashanDB知识库】字符集latin1的MySQL中文数据如何迁移到YashanDB41.【YashanDB知识库】透明故障转移配置指导42.【YashanDB知识库】MySQL的FIND_IN_SET如何在YashanDB改写43.【YashanDB知识库】对比Oracle和YashanDB对象不一致的方法44.【YashanDB知识库】MySQL的FROM_UNIXTIME和UNIX_TIMESTAMP如何在YashanDB改写45.【YashanDB知识库】YMP从oracle到yashan迁移评估报OCI相关错误46.【YashanDB 知识库】如何避免 yasdb 进程被 Linux OOM Killer 杀掉47.【YashanDB 知识库】DolphinScheduler 适配崖山 Python 驱动48.【YashanDB知识库】Flink CDC实时同步Oracle数据到崖山49.【YashanDB知识库】Kettle迁移MySQL到YashanDB50.【YashanDB知识库】Kettle迁移PostgreSQL到YashanDB51.【YashanDB知识库】MySQL返回结果集的存储过程的改写方法52.【YashanDB知识库】沙箱备库53.【YashanDB知识库】DataX迁移Hive到崖山分布式54.【YashanDB知识库】Springboot启动找不到崖山jdbc驱动的问题处理55.【YashanDB知识库】分布式LSC表修改字段56.【YashanDB知识库】扩展redo大小57.【YashanDB知识库】共享超过32000字节字符串插入CLOB类型方案58.【YashanDB知识库】共享利用Python脚本解决Oracle的SQL脚本@@用法59.【YashanDB知识库】数据库升级后用yasboot在线扩充备节点出现报错60.【YashanDB知识库】共享从 MySQL异常处理CONTINUE HANDLER的改写方法61.【YashanDB知识库】服务器重启后启动yasom和yasagent进程时有告警62.【YashanDB知识库】MySQL field 函数的改写方法63.【YashanDB知识库】MySQL和YashanDB 隐式转换不一致引起的报错64.【YashanDB知识库】YashanDB 支持MySQL多表更新语句的解决方法65.【YashanDB知识库】从PostgreSQL迁移到YashanDB如何进行数据行数比对66.【YashanDB知识库】使用DataX工具迁移yashan数据到maxcompute67.【YashanDB知识库】如何从内存中获取SQL语句的执行计划68.两个案例带你看懂YashanDB执行计划69.YashanDB物理规格70.YashanDB逻辑规格71.YashanDB数据类型规格72.YashanDB与Oracle兼容性说明73.YashanDB个人版、标准版和企业版功能差异74.YashanDB体系架构75.YashanDB存储引擎76.YashanDB SQL引擎77.YashanDB PL引擎78.YashanDB主备高可用79.YashanDB共享集群80.YashanDB实例架构81.YashanDB数据库实例82.YashanDB内存体系83.YashanDB进程线程体系本文内容来自YashanDB官网,原文内容请见 https://www.yashandb.com/newsinfo/7106886.html?templateId=1718516
实现方法
1、YashanDB 的表空间压缩通过文件打洞(Hole Punching)实现。
2、“文件打洞”简单地说,如果文件中有连续字节0x00出现,只需要记录0字节数据块开始出现位置和块长度,而不需要实际保存原数据块。
3、表空间压缩支持LZ4(默认),ZSTD两种压缩算法。
4、数据库首先对BLOCK内容进行压缩,然后根据压缩结果做如下操作:
● 压缩失败或压缩之后的大小大于等于BLOCK大小,则不压缩,写入原始的BLOCK
● 压缩释放的空间不足一个文件系统的页大小,则不压缩,写入原始的BLOCK
● 压缩释放的空间大于等于一个文件系统的页大小,将释放的空间按照文件系统的页向下取整,写入压缩后的BLOCK,并将释放的空间进行打洞
5、DBWR写入时进行压缩;读取到DATA BUFFER过程解压。
环境要求
不是所有的文件系统都支持文件打洞功能,目前支持的文件系统有:xfs,ext4, btrfs, tmpfs, gfs2。此外,YashanDB还要求文件系统的的页大小为512、1024、2048或4096。
使用方法
创建表空间时指定压缩属性及压缩算法,示例如下:
CREATE TABLESPACE tbs_data COMPRESS lz4;
如何查看压缩率
在视图v$datafile中字段disk_bytes表示datafile在文件系统中实际大小
SELECT id, name, bytes, disk_bytes, bytes/disk_bytes as compression_ratio FROM v$datafile;
压缩率与哪些因素有关
1、首先是数据本身
2、与数据库BLOCK大小,及文件系统的页大小有关,如果BLOCK大小为8K,文件系统页为4K,每个BLOCK最多只能节省一个文件系统页(4K),因此理论上压缩率不超过50%,建库时选取更大的BLOCK大小有可能提升压缩率
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 一个费力不讨好的项目,让我损失了近一半的绩效!
· .NET Core 托管堆内存泄露/CPU异常的常见思路
· PostgreSQL 和 SQL Server 在统计信息维护中的关键差异
· C++代码改造为UTF-8编码问题的总结
· DeepSeek 解答了困扰我五年的技术问题
· 一个费力不讨好的项目,让我损失了近一半的绩效!
· 清华大学推出第四讲使用 DeepSeek + DeepResearch 让科研像聊天一样简单!
· 实操Deepseek接入个人知识库
· 易语言 —— 开山篇
· CSnakes vs Python.NET:高效嵌入与灵活互通的跨语言方案对比