摘要：
TFS目前使用扩展块来解决文件写、更新问题。扩展块的数量由磁盘可用空间、主块大小、扩展块大小、Dataserver(DS)配置项block_ratio决定。TFS主块和扩展块的数量在文件系统格式化的时候就已经确定，并且预先分配了所有块的存储空间。DS周期性的汇报存储空间使用率给Namserver，DS根据主块和扩展块使用率中的较大值做为DS储存空间的使用率。 扩展块使用率引发的问题 ... 阅读全文
摘要：
TFS数据服务器的block是在DS第一次启动前格式化的，所有block的空间是预先分配好的，而物理块对应的index文件，则是block被分配使用时创建的。Index文件的大小是根据block中文件数目增加而增长的，为了提高性能，将整个index文件都mmap到内存直接访问。 在初次mmap index文件时，会计算block中预期的文件数，计算出index文件的理论大小index_s... 阅读全文
摘要：
上周末ADC，@明俨 主持TFS开源主题的讨论，居然有TFS外部用户到现场咨询使用过程中的问题，感觉这些小公司维护大系统挺不容易的，尤其是在对内部实现不清楚的情况下。期间有人分享自己公司的做法，存文件的时候，存到多个server上，然后把文件跟server的对应关系记录到文档（不能丢，方便查找），当出现异常时，人工介入拷贝文件以增加文件副本数，然后更新文件跟server的对应关系；做法看起来很土，... 阅读全文
摘要：
Jerasure库提供Reed-Solomon和Cauchy Reed-Solomon两种编码算法的实现. Reed-Solomon编解码接口 1. 编码矩阵生成 // generate matrix, last m rows matrix = talloc(int, m*k); for (i = 0; i < m; i++) { for (j = 0; j < k... 阅读全文
摘要：
WeiboFS是基于新浪微博的文件系统，它将新浪微博虚拟成一个linux本地文件系统，用户像使用文件系统一样来看微博，发微博。
WeiboFS的开发需要用到FUSE, fusepy, sinatpy2.x FUSE是指用户空间文件系统，通过FUSE，开发人员通过实现一组用户空间的接口即可实现一个文件系统。 fusepy是FUSE的python-binding工具，通过fusepy，开发人员可以... 阅读全文
摘要：
马上要做毕业论文的测试，需要自己写测试程序、生成数据、作图，最简单的方式莫过于使用excel根据数据生成图标，这就需要在linux下通过C/C++写excel文件，使其能被ms excel打开，本文总结了三种方式。 普通文本，以\t分隔列 建立文本文件如下，在同一行的数据以tab(\t)进行分隔，使用excel打开。 a b c d e f a b c d e f
... 阅读全文
摘要：
英文原文：http://www.theserverside.com/tip/A-return-to-Good-Code 中文译文：http://www.aqee.net/a-return-to-good-code/ 文章作者认为，函数应该是单出口的，即只在结束时return；读书期间，我写代码的风格是多return的，使代码尽量简短。在百度和淘宝工作期间，我们的代码规范都是要求函数单出口，刚开始写... 阅读全文
摘要：
系统架构师大会分享 View more presentations or Upload your own. 管理员在2009年8月13日编辑了该文章文章。 --> --> 阅读全文
摘要：
配置参数 在工程实践中，我们通常把一些需要测量才能确定最佳取值的参数以可配置的形式处理，但实际上大部分的参数可能只是一个可行值，而不是一个最佳值。 1. DS与NS之间的心跳间隔设置：NS通过心跳来确定DS的状态，心跳间隔太短，NS容易出现误判，有时短暂的网络断开也会被NS认定为DS宕机；而心跳间隔过长，NS就不能及时发现宕机的DS，导致的问题是，NS复制丢失block的时间点会被延迟，影响系... 阅读全文
摘要：
昨日线上一台机器上的nginx rt飙高，@明俨 调查发现这台机器上的metaserver内存占用很高，同时还有个奇怪的现象，df发现/home的空间占用在增长飞快，但metaserver和nginx的日志文件增长都很慢，通过du -sh /home统计home下文件的总大小，发现跟df命令/home占用的空间小10+g，到底谁占用了我的磁盘空间？ 后来把nginx进程都停掉后（当时应该先通过ls... 阅读全文