摘要: Bigtable是架在GFS上面的分布式结构化数据存储系统,在底层的存储方面依赖GFS的实现,Bigtable在享用GFS的同时,必须处理GFS带来的一些问题:GFS存储数据在异常的时候可能面临已定义但是部分不一致的情况,就是一部分数据在某个机器上面是多份的,在某个机器上只有一份+填充的数据,所以Bigtable必须解决这种问题。数据模型 Bigtable是一个稀疏的、分布式的、持久化存储的多维度排序Map,Map的索引是行关键字、列关键字以及时间戳,Map中的每个value都是一个未经解析的byte数组。时间戳可以当做版本号来使用: (row:string, column:stri... 阅读全文
posted @ 2011-11-18 16:40 nod0620 阅读(373) 评论(0) 推荐(0) 编辑
摘要: 这几天在网上看了很多关于nosql的资料,有必要写写自己的理解。 nosql现在很多时候是指kv存储,作为缓存使用,用在业务和数据库中间,真正保证数据安全还是要在数据库做。把nosql和kv存储等同是不对的,nosql还可以做很多东西,叫做分布式存储比较适合。 由于有google的gfs+bigtable和Amazon的dynamo论文的影响,现在基本上的nosql实现都可以分成这两类。gfs+bigtable是有中心节点控制的,而dynamo是去中心化的,每一个节点都是平等的,任何一个节点失败宕机都不会影响整个系统GFS gfs是google部署在廉价机器上的大型分布式文件系统,bigt.. 阅读全文
posted @ 2011-11-18 12:22 nod0620 阅读(740) 评论(0) 推荐(0) 编辑