02 2015 档案

f4: Facebook’s Warm BLOB Storage System——Erasure Code
摘要：Facebook在OSDI 2014上发表论文[f4: Facebook’s Warm BLOB Storage System](https://www.usenix.org/system/files/conference/osdi14/osdi14-paper-muralidhar.pdf)，这个... 阅读全文
posted @ 2015-02-13 21:37 吴镝 阅读(1745) 评论(1) 推荐(0) 编辑
HBase Scan Timeout-OutOfOrderScannerNextException
摘要：最近迁移数据时需要执行大Scan，HBase集群经常碰到以下日志:```Exception in thread "main" org.apache.hadoop.hbase.DoNotRetryIOException: Failed after retry of OutOfOrderScannerN... 阅读全文
posted @ 2015-02-11 15:19 吴镝 阅读(3838) 评论(0) 推荐(0) 编辑
对象存储系统设计
摘要：####存储选型Blob(binary large object)存储系统主要用来存储二进制的大对象，比如图片，视频。这样的数据不太适合存储在类LSM系统例如HBase中，原因在于这种数据尺寸相对较大，写入RegionServer的memstore后很快会触发region的flush，在磁盘上形成大... 阅读全文
posted @ 2015-02-10 15:37 吴镝 阅读(2546) 评论(0) 推荐(1) 编辑
HDFS ErasureCode方案对比
摘要：HDFS目前存储文件的方案是将一个文件切分成多个Block进行存储，通常一个Block 64MB或者128MB，每个Block有多个副本(replica)，每个副本作为一个整体存储在一个DataNode上，这种方法在增加可用性的同时也增加了存储成本。ErasureCode通过将M个数据block进行... 阅读全文
posted @ 2015-02-09 18:07 吴镝 阅读(4777) 评论(3) 推荐(0) 编辑

点击右上角即可分享
微信分享提示