摘要：
昨天下午线上辅集群加机器扩容，扩容的机器在运行一段时间后线上有block lost的告警，从Nameserver(NS)的日志上发现，扩容的新机器上有多次加入集群和退出集群的记录，最初我怀疑是扩容后，集群做容量负载均衡，大量数据往新加入的节点迁移，导致新机器负载高，从而出现心跳信息没有及时到达NS的情况，此时NS认为Dataserver（DS)宕机，如果有一个block的多个副本都被迁入到新扩容的... 阅读全文
摘要：
12月03日03:50左右，有多台Dataserver(DS)内存占用飙升，如10.246.70.71 dataserver 3，常驻内存突然飙升到21G，并且一直没有释放。查看dataserver的日志，发现大量的read v2失败 ，返回值主要是-8025（block不存在）， -8016（文件被删除或隐藏）。但这些失败信息从0点开始一直很多，而且这两种失败不会导致DS分配很多内存，所以应该跟内存问题没关系。在3:50左右5分钟内，发现readv2 success的日志很多，主要集中在3:48,3:49,3:50这3分钟内，3分钟的readv2请求超过4w，平均每秒200+，每个文件请求都 阅读全文
摘要：
linux socket使用16bit无符号整型表示端口号，最大到65535。关于端口号，有一个经典的误解就是，因为端口号有限，所以一个客户端最多建立65536个socket连接，但实际上并不是这么回事，端口是可以复用的。 一个socket连接是一个[srcip, srcport, destip, destport]组成的四元组，如果再算上协议（tcp、udp、rawsocket等）就是五... 阅读全文
摘要：
google开源的gflags是一套命令行参数解析工具，比getopt功能更强大，使用起来更加方便，gflags还支持从环境变量、配置文件读取参数（可用gflags代替配置文件）。本文简单介绍gflags的使用，内容主要译自 http://gflags.googlecode.com/svn/trunk/doc/gflags.html 。 定义参数 使用flags需要包含头文件 #i... 阅读全文
摘要：
2012年，结束了长达19年的校园生活长跑，走上了工作岗位，开始人生一个新的起点。我的工作其实跟在实验室差不多，依然是分布式存储领域，公司简单的同事关系就跟在学校同学一般纯真，每天上班依旧是一辆破自行车，甚至连距离都跟宿舍去实验室差不多，还有在学校的同学雷雷、小鳄、宝仔在同一个组工作。 新人学习 入职后加入TFS（Taobao File System）项目组... 阅读全文
摘要：
SNIA的云存储标准（Cloud Data Mamangement Interface，CDMI）出来有一段时间了，目前云存储战场竞争激烈，标准的到来给云存储服务提供了指导作用，期待未来有美好的一天，所有的云存储提供商都遵循这个标准，让标准真正的发挥作用，让互联网用户受益。 理想很丰满，现实很骨感，制定标准跟标准落地还有很长的一段距离，标准的合理性首先需要得到检验并不断的改善，而... 阅读全文
摘要：
学习篇 1.科研方面基本没接触新的内容，仍然把学习重点定在分布式技术及应用方面。把经典的几篇论文(GFS、Bigtable、Dynamo、Zookeeper …)重新研读了几次，结合网上技术博客的分析，对分布式系统的理解稍稍有些加深。 2.项目方面根据Spyglass和Meggllan两篇论文的思路，实现了一个元数据检索系统原型，后将其扩展并作为我毕业论文的课题。 3.持续关注Nosql方面... 阅读全文
摘要：
本地文件系统如ext3，reiserfs等（这里不讨论基于内存的文件系统），它们管理本地的磁盘存储资源、提供文件到存储位置的映射，并抽象出一套文件访问接口供用户使用。但随着互联网企业的高速发展，这些企业对数据存储的要求越来越高，而且模式各异，如淘宝主站的大量商品图片，其特点是文件较小，但数量巨大；而类似于youtube，优酷这样的视频服务网站，其后台存储着大量的视频文件，尺寸大多在数十兆到数吉... 阅读全文
摘要：
最近几天在做一个集群间数据迁移的任务，要做的事很简单，就是给定一个任务文件，文件中每一行对应一个source:dest形式的迁移任务（source和dest均为文件名），任务数在千万级别。要做的事情其实很简单，读取每一行，解析出source和dest，并根据给定的集群信息从源集群读取source，并写到目标集群的dest。经历了写程序、执行任务、分析日志、改程序、再执行子任务...等多次折磨之后，... 阅读全文
摘要：
TBNET是淘宝的开源异步网络框架，源码见：http://code.taobao.org/p/tb-common-utils/src/trunk/tbnet/ TBNET主要类之间的联系如下，其中框架的使用者需要关注红色部分的类或接口。 关于每个类接口介绍，请参考@淘宝立德 总结的文档：http://vdisk.weibo.com/s/1UzQB/1326963540 ... 阅读全文