03 2015 档案

摘要:今天谈谈分布式事务的时序问题。在说这个问题之前首先说说这为什么是个问题。####单机场景对于数据库来说,读到已经commit的数据是最基本的要求。一般来说,为了性能,读写不互相阻塞,现在的数据库系统(Oracle,MySQL,OceanBase,Spanner,CockRoachDB,HBase)几... 阅读全文
posted @ 2015-03-30 19:24 吴镝 阅读(5475) 评论(0) 推荐(1) 编辑
摘要:F1是Google开发的分布式关系型数据库,主要服务于Google的广告系统。Google的广告系统以前使用MySQL,广告系统的用户经常需要使用复杂的query和join操作,这就需要设计shard规则时格外注意,尽量将相关数据shard到同一台MySQL上。扩容时对数据reshard时也需要尽量... 阅读全文
posted @ 2015-03-25 19:30 吴镝 阅读(18215) 评论(0) 推荐(0) 编辑
摘要:HDFS Append时packet的格式以及DataNode对block/checksum文件的处理HDFS的Block一般比较大,默认64MB/128MB,客户端给DataNode发数据实际上是以Packet的形式发送的,Packet一般只有64KB左右。Packet内部由分为一个个chunk,... 阅读全文
posted @ 2015-03-17 15:43 吴镝 阅读(1965) 评论(1) 推荐(0) 编辑
摘要:[HDFS-RAID](https://github.com/facebookarchive/hadoop-20/tree/master/src/contrib/raid) 是Facebook基于hadoop-20-append分支(第一代Hadoop)开发的raid方案,对HDFS的修改极少,主要... 阅读全文
posted @ 2015-03-13 23:55 吴镝 阅读(5456) 评论(2) 推荐(0) 编辑

点击右上角即可分享
微信分享提示