摘要:原文:《Erasure Coding in Windows Azure Storage.pdf》,地址:https://www.usenix.org/system/files/conference/atc12/atc12-final181_0.pdfWAS: (LRC, Local Reconstruction Codes)1 概述(1) Extent当extent的大小达到一定值,extent就被sealed. Sealed的extent不能再被修改,作为编码的候选。WAS 在后台lazily地编码这个extent,一旦extent被编码成功,extent原始的3备份要被删除。(2) LRU
阅读全文
随笔分类 - 分布式集群存储
分布式文件系统、存储方案等
摘要:1.需求当今世界“云概念”大行其道,面对各种各样亦真亦假的云产品,企业该如何选择?又会有怎样的风险,这是每一个企业需要认真考虑的问题。Emc²的Atmos提供了一种解决方案,在提供较强云特性的同时,又大大降低了直接向云迁移可能会遇到的各种问题。通过查阅了一些官方、非官方的PDF资料,作者对其有了一些浅薄的认识,并加入了自己的理解(因资源限制,作者并未实际使用)。本文展示了Atmos的特性,如果发生与官方文档向冲突的地方,请以官方文档为主。l 实时产生的大量非结构化数据(包括图片、EMail、视频、文档等),正在以创记录的速度爆炸式增长,数据规模的描述经历了P-E-Z-Y的改变,迫使我
阅读全文
摘要:本文主要是介绍集群存储相关的概念及Scale-out特点,重点对市场上主要的集群存储产品进行了比较和点评。主要分类方式目前存储产品的主要分类方法:首先,无论厂商和用户都习惯将存储系统划分为 高端、中端、低端或入门级产品。其次,按照数据类型划分,即NAS、SAN、统一存储。【统一存储的两种方向:NetApp 本质上是用一个NAS 服务器虚拟成一个block 呈现给主机,通过这种“假SAN”的方法把file service 和block service 共同嵌入到一个存储控制器里。另外一个是,利用虚拟机的技术(如VMware),在控制器中同时运行block 级软件和NAS 服务器软件,即可在一对存
阅读全文
摘要:1 网络掩码导致的网络故障这2天与人合作部署linux系统,系统安装、调试由合作方实施,我的工作是把环境搬到新机房并修改ip地址。服务器搬到机房后将网络物理连路联通,但发现服务器怎么也无法出外网,于是开始了各种测试。1、验证物理链路[成功],使用自己笔记本配置同网段IP和网关,使用连接服务器的那根网线连接进行外网访问。2、重新配置网络文件[第一次未找到问题],重新使用setup配置了网络文件,重启动网络后查看不通,查看配置文件摄入的IP、掩码、网关都在。但 route -n中看不到网关。3、试图重装[未被许可],在遇到疑难问题时重装系统往往是最快的方法,结果与系统调试人员沟通结果为系统部署、调
阅读全文
摘要:Ceph分布式文件系统的代码分析的文章网上是比较少的,本团队成员对ceph做过详细的代码阅读,包括mds、osd、client等模块,但是缺少条理清晰的文档总结。暂且先放上OSD的代码分析,等后续整理陆续放上其它模块的。1 OSD的基本结构主要的类,涉及的线程,工作的方式1.1 类OSD该类主要用以处理网络消息,与mds客户端等之间的网络连接的维护。当收到客户端或者mds对对象的数据请求后,交给相关的类进行处理。1.1.1 主要对象ObjectStore *store; /*对object访问接口的封装**/OSDSuperblock superblock; 主要是版本号等信息OSDMapR.
阅读全文