摘要：
当你的系统发布时，你需要告诉用户如何去使用，通常你会写一份示例代码放在文档中，让用户能通过这个例子快速知道该如何使用，这个实例代码对用户会有多大影响呢？ TFS是淘宝的分布式文件系统，主要用于小对象的存储（如图片、交易快照等），在TFS的开源wiki上，也有一个简单的实例。具体的说，TFS客户端提供了基本的open、read、write、close接口，用户在读写前，需要先根据对应的模式open... 阅读全文
posted @ 2013-04-19 14:13
ydzhang
阅读(261)
评论(0)
推荐(0)
摘要：
英文原文：http://www.theserverside.com/tip/A-return-to-Good-Code 中文译文：http://www.aqee.net/a-return-to-good-code/ 文章作者认为，函数应该是单出口的，即只在结束时return；读书期间，我写代码的风格是多return的，使代码尽量简短。在百度和淘宝工作期间，我们的代码规范都是要求函数单出口，刚开始写... 阅读全文
posted @ 2013-04-19 14:13
ydzhang
阅读(1144)
评论(0)
推荐(0)
摘要：
系统架构师大会分享 View more presentations or Upload your own. 管理员在2009年8月13日编辑了该文章文章。 --> --> 阅读全文
posted @ 2013-04-19 14:13
ydzhang
阅读(121)
评论(0)
推荐(0)
摘要：
配置参数 在工程实践中，我们通常把一些需要测量才能确定最佳取值的参数以可配置的形式处理，但实际上大部分的参数可能只是一个可行值，而不是一个最佳值。 1. DS与NS之间的心跳间隔设置：NS通过心跳来确定DS的状态，心跳间隔太短，NS容易出现误判，有时短暂的网络断开也会被NS认定为DS宕机；而心跳间隔过长，NS就不能及时发现宕机的DS，导致的问题是，NS复制丢失block的时间点会被延迟，影响系... 阅读全文
posted @ 2013-04-19 14:13
ydzhang
阅读(562)
评论(1)
推荐(0)
摘要：
昨日线上一台机器上的nginx rt飙高，@明俨 调查发现这台机器上的metaserver内存占用很高，同时还有个奇怪的现象，df发现/home的空间占用在增长飞快，但metaserver和nginx的日志文件增长都很慢，通过du -sh /home统计home下文件的总大小，发现跟df命令/home占用的空间小10+g，到底谁占用了我的磁盘空间？ 后来把nginx进程都停掉后（当时应该先通过ls... 阅读全文
posted @ 2013-04-19 14:13
ydzhang
阅读(3958)
评论(0)
推荐(0)
摘要：
WeiboFS是基于新浪微博的文件系统，它将新浪微博虚拟成一个linux本地文件系统，用户像使用文件系统一样来看微博，发微博。
WeiboFS的开发需要用到FUSE, fusepy, sinatpy2.x FUSE是指用户空间文件系统，通过FUSE，开发人员通过实现一组用户空间的接口即可实现一个文件系统。 fusepy是FUSE的python-binding工具，通过fusepy，开发人员可以... 阅读全文
posted @ 2013-04-19 14:13
ydzhang
阅读(291)
评论(0)
推荐(0)
摘要：
马上要做毕业论文的测试，需要自己写测试程序、生成数据、作图，最简单的方式莫过于使用excel根据数据生成图标，这就需要在linux下通过C/C++写excel文件，使其能被ms excel打开，本文总结了三种方式。 普通文本，以\t分隔列 建立文本文件如下，在同一行的数据以tab(\t)进行分隔，使用excel打开。 a b c d e f a b c d e f
... 阅读全文
posted @ 2013-04-19 14:13
ydzhang
阅读(2363)
评论(0)
推荐(0)
摘要：
core文件对问题查找非常有帮助，大部分时候我们能根据core文件直接定位到问题，但当出现内存乱掉的情况时，core的backtrace可能也不能指出问题源头。最近线上问题较多，针对dataserver出现的问题做个总结：1. 如果在read/write时coredump，则多是因为磁盘故障（或是文件系统崩溃），IO的一些严重问题可通过dmesg查看，如果出现Medium Error，EXT4-fs error(device sdx), Device offlined, I/O error, rejecting I/O to dead device之类的关键字，就说明磁盘已经出问题了，如果是文 阅读全文
posted @ 2013-04-19 14:13
ydzhang
阅读(622)
评论(0)
推荐(0)
摘要：
分布式文件系统主要用于解决海量数据存储的问题，如Goolge、Facebook等大型互联网企业都使用分布式文件系统作为数据存储的基础设施，并在其上构建很多服务，分布式文件系统通常采用三副本的策略来保证数据的可靠性，但随着应用数据量的不断膨胀，三副本策略为可靠性牺牲的存储空间也越来越大，如何在不降低数据可靠性的基础上，进一步降低存储空间成本？ Facebook将erasure code应用到内部HDFS集群中，该方案使用erasure code代替传统的三副本策略，在保持集群可用性不变的情况下，节省了数PB的存储空间，Facebook的实现方案(HDFS RAID)目前已贡献给开源社区。Eras 阅读全文
posted @ 2013-04-19 14:13
ydzhang
阅读(510)
评论(0)
推荐(0)
摘要：
Nameserver(NS)是TFS的总控节，NS的主要职责包括为写分配block、为读查找block、管理block与dataserver对应关系、管理dataserver、备NS状态，执行后台复制、均衡、压缩任务，以保证整个集群良好的工作。Block分配NS接收到客户端的写请求，会分配一个可写的block，如果没有可写block，则会创建一个新的block，每个block由一个id标识（uint32_t，后续会将该值提升至uint64_t），blockid不能重复，且不复用，新创建的block，在当前id的基础上递增，产生新的blockid。为了保证产生不重复的blockid，必须将blo 阅读全文
posted @ 2013-04-19 14:13
ydzhang
阅读(625)
评论(0)
推荐(0)
浙公网安备 33010602011771号