摘要：
QA同学反映，对TFS进行压力测试时，网卡一直压不上去，看了下他们的测试环境，发现在测试时客户端的日志都是往屏幕打印的，将日志重定向到文件，压力马上上去了。日志打印到屏幕其实是个非常耗时的事情，打印到屏幕会影响到客户端的请求并发；这个问题解决了，QA同学又反映另一个奇怪的现象。如下图所示，client1和client2的请求分别被定向到server1和server2。 （4台独立的物理机）单个客户端case1：只启动client1，client1不打印日志，server1的网卡能跑到110M/S左右(千兆网卡，接近满）case2：只启动client1，client1打印日志，server1的网 阅读全文
posted @ 2013-04-22 19:58
ydzhang
阅读(2825)
评论(0)
推荐(2)
摘要：
Blobstore是twitter的图片存储系统，主要参考twitter员工博客及其译文，译文基本是按照字面进行翻译，部分地方理解有些问题，比如文中提到的“每秒上千万张吞吐量的图片请求”，而英文原文是hundreds of thousands of，翻译为上千万显然是很误导读者的；本文主要谈谈我对blobstore的理解，如有问题请指出。
相比facebook的haystack、以及taobao的... 阅读全文
posted @ 2013-04-19 14:14
ydzhang
阅读(929)
评论(0)
推荐(0)
摘要：
春节回家，发现网络这个词被提起的频率越来越高了，年前就准备写一篇农村与互联网相关的博文，但由于家里没有网络，一直拖到今天上班，刚在微博上看到腾讯科技的特别策划对话另一个世界-三四线地区人群互联网真实状态调查。看了几篇文章，发现腾讯的工作人员做了很多工作，深入三四线地区进行实地采访，非常有意义的策划活动，让更多的人了解到“他们的世界”。
基本现状
他们的世界跟我了解到的差不多，在我的家乡（典型的贫困... 阅读全文
posted @ 2013-04-19 14:14
ydzhang
阅读(456)
评论(0)
推荐(0)
摘要：
HTTP推荐阅读资料 HTTP权威指南：详细介绍HTTP协议相关的细节，非常值得一读。
HTTP wiki：维基百科你懂的，该页面还提供了很多相关链接扩展阅读。
HTTP协议详解：快速了解HTTP协议基本知识。
理解HTTP协议：内容同上，但讲解更加详细具体。
HTTP cookie：全面解读HTTP cookie
HTTP协议之代理：解析HTTP与代理，很多配图，挺生动。
CGI/FAST C... 阅读全文
posted @ 2013-04-19 14:14
ydzhang
阅读(173)
评论(0)
推荐(0)
摘要：
昨天下午线上辅集群加机器扩容，扩容的机器在运行一段时间后线上有block lost的告警，从Nameserver(NS)的日志上发现，扩容的新机器上有多次加入集群和退出集群的记录，最初我怀疑是扩容后，集群做容量负载均衡，大量数据往新加入的节点迁移，导致新机器负载高，从而出现心跳信息没有及时到达NS的情况，此时NS认为Dataserver（DS)宕机，如果有一个block的多个副本都被迁入到新扩容的... 阅读全文
posted @ 2013-04-19 14:14
ydzhang
阅读(265)
评论(0)
推荐(0)
摘要：
12月03日03:50左右，有多台Dataserver(DS)内存占用飙升，如10.246.70.71 dataserver 3，常驻内存突然飙升到21G，并且一直没有释放。查看dataserver的日志，发现大量的read v2失败 ，返回值主要是-8025（block不存在）， -8016（文件被删除或隐藏）。但这些失败信息从0点开始一直很多，而且这两种失败不会导致DS分配很多内存，所以应该跟内存问题没关系。在3:50左右5分钟内，发现readv2 success的日志很多，主要集中在3:48,3:49,3:50这3分钟内，3分钟的readv2请求超过4w，平均每秒200+，每个文件请求都 阅读全文
posted @ 2013-04-19 14:14
ydzhang
阅读(336)
评论(0)
推荐(0)
摘要：
SNIA的云存储标准（Cloud Data Mamangement Interface，CDMI）出来有一段时间了，目前云存储战场竞争激烈，标准的到来给云存储服务提供了指导作用，期待未来有美好的一天，所有的云存储提供商都遵循这个标准，让标准真正的发挥作用，让互联网用户受益。 理想很丰满，现实很骨感，制定标准跟标准落地还有很长的一段距离，标准的合理性首先需要得到检验并不断的改善，而... 阅读全文
posted @ 2013-04-19 14:14
ydzhang
阅读(527)
评论(0)
推荐(0)
摘要：
2012年，结束了长达19年的校园生活长跑，走上了工作岗位，开始人生一个新的起点。我的工作其实跟在实验室差不多，依然是分布式存储领域，公司简单的同事关系就跟在学校同学一般纯真，每天上班依旧是一辆破自行车，甚至连距离都跟宿舍去实验室差不多，还有在学校的同学雷雷、小鳄、宝仔在同一个组工作。 新人学习 入职后加入TFS（Taobao File System）项目组... 阅读全文
posted @ 2013-04-19 14:14
ydzhang
阅读(185)
评论(0)
推荐(0)
摘要：
google开源的gflags是一套命令行参数解析工具，比getopt功能更强大，使用起来更加方便，gflags还支持从环境变量、配置文件读取参数（可用gflags代替配置文件）。本文简单介绍gflags的使用，内容主要译自 http://gflags.googlecode.com/svn/trunk/doc/gflags.html 。 定义参数 使用flags需要包含头文件 #i... 阅读全文
posted @ 2013-04-19 14:14
ydzhang
阅读(689)
评论(0)
推荐(0)
摘要：
linux socket使用16bit无符号整型表示端口号，最大到65535。关于端口号，有一个经典的误解就是，因为端口号有限，所以一个客户端最多建立65536个socket连接，但实际上并不是这么回事，端口是可以复用的。 一个socket连接是一个[srcip, srcport, destip, destport]组成的四元组，如果再算上协议（tcp、udp、rawsocket等）就是五... 阅读全文
posted @ 2013-04-19 14:14
ydzhang
阅读(2919)
评论(0)
推荐(0)
浙公网安备 33010602011771号