随笔分类 - 存储系统
关于文件系统相关的知识；以及存储系统中偏软件的部分。
摘要：之前用到的一个IO监控工具，今天要使用，却忘记了名字，记录一下： dstat命令是一个用来替换vmstat、iostat、netstat、nfsstat和ifstat这些命令的工具，是一个全能系统信息统计工具。 安装：yum install -y dstat 下面这条链接，讲解得挺清楚，可以参考：
阅读全文
摘要：今天阅读fanstore论文时，发现其使用bindfs做了实验；我个人对filesystem比较感兴趣，进行初步使用一下并进行记录； 项目地址：https://github.com/mpartel/bindfs 项目网站：https://bindfs.org/ 项目功能：使用不同的权限，重新在本机挂
阅读全文
摘要：今天看到一篇文章，其中有几张图很有意思，进行记录一下，我相信如果你对IO子系统有初步了解的话，将会有一些收获： Linux 存储栈：涉及比较全面，分为文件系统层，块层，设备层三层； 对上图进行抽象后： Buffer IO: 经典读写操作IO: 从磁盘到网络； 网络与磁盘读写IO： 参考来源： htt
阅读全文
摘要：因为博士学习内容和数据计算相关，达摩院恰好有相关的方向。本次借助此次机会进行简单整理一下，感悟其中的逻辑，主要用于助记，不是为了科普，不展开说了。 # 2021年11月05日 主页：https://damo.alibaba.com/labs/ 数据计算： 阿里巴巴达摩院数据计算研究领域旨在重构融合、
阅读全文
摘要：基础知识： FIO 工具使用：https://www.cnblogs.com/xuyaowen/p/fio-usage.html PMEM 模型：NVM (非易失型存储-持久性内存) 编程模型与访问模式; PMDK 架构; App Direct 官方博客：Running FIO with pmem
阅读全文
摘要：Intel 持久内存，是19年4月，唯一实现量产的持久内存，目前已经有两代产品可以买到。它的出现，带给存储子系统带来一些新的挑战。 Intel 持久内存实物图：2022-01-09 16:06:39 Intel 持久内存 硬件位置：2022年01月09日16:06:43 持久内存编程模型与层次结构：
阅读全文
摘要：问题重述： 前段时间，我从家里带来了一块坏的硬盘，里面的数据还在，但是会间歇性不能识别，并且其中的系统损坏了。今天我重新购买了sata to usb 的转接器和12v的电源，尝试修复一下磁盘；看看能不能重新启动。 但是我宿舍里只有一个电脑。为了修复方便，我尝试从虚拟机直接从实体硬盘启动。通过在网络上
阅读全文
摘要：问题重述： 前段时间，实验室新进了一批SAS盘。我今天把其中几块插在了我最近常用的那台R740机器上。但是当启动机器后，发现在 /dev 中，并没有新插入的几块硬盘；检查硬盘状态后，发现灯是正常亮的，这确定硬盘硬件上是没问题的。 这时候，我考虑是硬件RAID卡的原因。 我进入BIOS 进入到 RAI
阅读全文
摘要：macos 支持 ntfs文件系统，有商业软件给予支持如：Paragon NTFS for Mac 和 Microsoft NTFS for Mac by Tuxera，但是都是收费产品； 下面这个方案是基于Tuxera 公司贡献的开源版本 ntfs-3g 来进行实现；改方案对系统有一定的修改，但是
阅读全文
摘要：SSHFS 是一个非常方便的文件系统，我们可以在 linux 和 mac 平台上使用命令进行挂载远程文件系统，使得我们就像使用运行在本地的文件系统一样； SSHFS 基于用户态文进系统（FUSE）创建，linux 上有 libfuse 和 内核集成的fuse.ko内核模块；mac上有开源的 osxf
阅读全文
摘要：最近需要使用到 ramfs 和 tmpfs 做内存文件系统，下面对这两个文件系统相关的信息，做一下总结： 参考链接： https://www.thegeekstuff.com/2008/11/overview-of-ramfs-and-tmpfs-on-linux/ https://www.cnbl
阅读全文
摘要：关于mmap 网上有很多有用的文章，我这里主要记录，日常使用到mmap时的理解： https://www.cnblogs.com/huxiao-tee/p/4660352.html 测试代码： https://github.com/yaowenxu/Workplace/tree/master/mma
阅读全文
摘要：简介： 磁盘设备之上是文件系统，测试磁盘的工具往往就是调用块设备驱动的接口进行读写测试。而文件系统的测试软件就是针对文件系统层提供的功能进行测试，包括文件的打开关闭速度以及顺序读写随机位置读写的速度。以及进程并发数目等各个方面进行详细的测试。 IOZone是目前应用非常广泛的文件系统测试标准工具，它
阅读全文
摘要：1.制作块文件 3 个 [root@localhost yaoxu]# dd if=/dev/zero of=loop.img bs=10M count=10000 [root@localhost yaoxu]# dd if=/dev/zero of=loop1.img bs=10M count=1
阅读全文
摘要：FIO是测试IOPS的非常好的工具，用来对硬件进行压力测试和验证。磁盘IO是检查磁盘性能的重要指标，可以按照负载情况分成照顺序读写，随机读写两大类。 目前主流的第三方IO测试工具有fio、iometer 和 Orion，这三种工具各有千秋，在linux 下也可以使用dd 进行简单的磁盘（文件系统）测
阅读全文
摘要：客户端： 服务端： 保持更新，转载请注明出处。
阅读全文
摘要：页面抖动（颠簸） 在页面置换过程中的一种最糟糕的情形是，刚刚换出的页面马上又要换入主存，刚刚换入的页面马上就要换出主存，这种频繁的页面调度行为称为抖动，或颠簸。如果一个进程在换页上用的时间多于执行时间，那么这个进程就在颠簸。频繁的发生缺页中断（抖动），其主要原因是某个进程频繁访问的页面数目高于可用的
阅读全文
摘要：答： （1）由于该系统拥有32个逻辑页面,所以页号必须用5位表示；而每页2K,页内地址需要11位来描述.（2）进程的页表项最多为32项；若不考虑访问权限,每个页表项至少9位.（3）如果物理空间减半,则页表中页表项数不变,但每项的长度可减少1位. 保持更新，一个简单的操作系统的例题。
阅读全文
摘要：内碎片：内存固定分区的时候，会发生内碎片。因为内存固定分区中，一个作业占用一个或者几个分区，所以可能出现分配的分区大于所需要的内存空间，出现内碎片。但是固定分区不会出现外碎片。 外碎片：在动态分区过程中，动态分区过程一般使用匹配算法进行分配内存（最先匹配法，下次匹配法，最佳匹配法，最坏匹配法），这样
阅读全文