云存储开发团队

技术开创未来

  博客园 :: 首页 :: 博问 :: 闪存 :: 新随笔 :: 联系 :: 订阅 订阅 :: 管理 ::

随笔分类 -  分布式集群存储

分布式文件系统、存储方案等
摘要:原文:《Erasure Coding in Windows Azure Storage.pdf》,地址:https://www.usenix.org/system/files/conference/atc12/atc12-final181_0.pdfWAS: (LRC, Local Reconstruction Codes)1 概述(1) Extent当extent的大小达到一定值,extent就被sealed. Sealed的extent不能再被修改,作为编码的候选。WAS 在后台lazily地编码这个extent,一旦extent被编码成功,extent原始的3备份要被删除。(2) LRU 阅读全文
posted @ 2013-07-25 20:57 DaoWoo 阅读(1356) 评论(0) 推荐(1) 编辑

摘要:1.需求当今世界“云概念”大行其道,面对各种各样亦真亦假的云产品,企业该如何选择?又会有怎样的风险,这是每一个企业需要认真考虑的问题。Emc²的Atmos提供了一种解决方案,在提供较强云特性的同时,又大大降低了直接向云迁移可能会遇到的各种问题。通过查阅了一些官方、非官方的PDF资料,作者对其有了一些浅薄的认识,并加入了自己的理解(因资源限制,作者并未实际使用)。本文展示了Atmos的特性,如果发生与官方文档向冲突的地方,请以官方文档为主。l 实时产生的大量非结构化数据(包括图片、EMail、视频、文档等),正在以创记录的速度爆炸式增长,数据规模的描述经历了P-E-Z-Y的改变,迫使我 阅读全文
posted @ 2013-03-15 17:35 DaoWoo 阅读(1372) 评论(0) 推荐(0) 编辑

摘要:本文主要是介绍集群存储相关的概念及Scale-out特点,重点对市场上主要的集群存储产品进行了比较和点评。主要分类方式目前存储产品的主要分类方法:首先,无论厂商和用户都习惯将存储系统划分为 高端、中端、低端或入门级产品。其次,按照数据类型划分,即NAS、SAN、统一存储。【统一存储的两种方向:NetApp 本质上是用一个NAS 服务器虚拟成一个block 呈现给主机,通过这种“假SAN”的方法把file service 和block service 共同嵌入到一个存储控制器里。另外一个是,利用虚拟机的技术(如VMware),在控制器中同时运行block 级软件和NAS 服务器软件,即可在一对存 阅读全文
posted @ 2013-03-15 10:18 DaoWoo 阅读(4294) 评论(2) 推荐(1) 编辑

摘要:1 网络掩码导致的网络故障这2天与人合作部署linux系统,系统安装、调试由合作方实施,我的工作是把环境搬到新机房并修改ip地址。服务器搬到机房后将网络物理连路联通,但发现服务器怎么也无法出外网,于是开始了各种测试。1、验证物理链路[成功],使用自己笔记本配置同网段IP和网关,使用连接服务器的那根网线连接进行外网访问。2、重新配置网络文件[第一次未找到问题],重新使用setup配置了网络文件,重启动网络后查看不通,查看配置文件摄入的IP、掩码、网关都在。但 route -n中看不到网关。3、试图重装[未被许可],在遇到疑难问题时重装系统往往是最快的方法,结果与系统调试人员沟通结果为系统部署、调 阅读全文
posted @ 2013-03-06 11:30 DaoWoo 阅读(524) 评论(0) 推荐(0) 编辑

摘要:Ceph分布式文件系统的代码分析的文章网上是比较少的,本团队成员对ceph做过详细的代码阅读,包括mds、osd、client等模块,但是缺少条理清晰的文档总结。暂且先放上OSD的代码分析,等后续整理陆续放上其它模块的。1 OSD的基本结构主要的类,涉及的线程,工作的方式1.1 类OSD该类主要用以处理网络消息,与mds客户端等之间的网络连接的维护。当收到客户端或者mds对对象的数据请求后,交给相关的类进行处理。1.1.1 主要对象ObjectStore *store; /*对object访问接口的封装**/OSDSuperblock superblock; 主要是版本号等信息OSDMapR. 阅读全文
posted @ 2013-03-01 18:11 DaoWoo 阅读(13404) 评论(2) 推荐(2) 编辑