bonelee - 博客园

2017年1月4日

摘要： Druid是一个开源的、分布式的、列存储系统，特别适用于大数据上的（准）实时分析统计。且具有较好的稳定性（Highly Available）。其相对比较轻量级，文档非常完善，也比较容易上手。 Druid vs 其他系统 Druid vs Impala/Shark Druid和Impala、Shar 阅读全文

posted @ 2017-01-04 12:22 bonelee 阅读(17137) 评论(0) 推荐(1)

Dynamo涉及的算法和协议——p2p架构，一致性hash容错+gossip协议获取集群状态+向量时钟同步数据

摘要：转自：http://www.letiantian.me/2014-06-16-dynamo-algorithm-protocol/ Dynamo是Amazon的一个分布式的键值系统，P2P架构，没有主从的概念，数据一致性做到了最终一致。Apache Cassandra参考了它的实现方法。一致性哈希阅读全文

posted @ 2017-01-04 12:06 bonelee 阅读(2226) 评论(0) 推荐(0)

向量时钟算法简介——本质类似MVCC

摘要：转自：http://blog.chinaunix.net/uid-27105712-id-5612512.html 一、使用背景先说一下需要用到向量时钟的场景。我们在写数据时候，经常希望数据不要存储在单点。如db1，db2都可以同时提供写服务，并且都存有全量数据。而client不管是写哪一个db都阅读全文

posted @ 2017-01-04 11:56 bonelee 阅读(1660) 评论(0) 推荐(1)

分布式系统中一些主要的副本更新策略——Dynamo/Cassandra/Riak同时采取了主从式更新的同步+异步类型，以及任意节点更新的策略。

摘要：分布式系统中一些主要的副本更新策略。 1、同时更新类型A：没有任何协议，可能出现多个节点执行顺序交叉导致数据不一致情况。类型B：通过一致性协议唯一确定不同更新操作的执行顺序，从而保证数据一致性类型A：没有任何协议，可能出现多个节点执行顺序交叉导致数据不一致情况。类型B：通过一致性协议唯一确定阅读全文

posted @ 2017-01-04 10:54 bonelee 阅读(970) 评论(0) 推荐(0)

分布式系统开发的一些相关理论基础——CAP、ACID、BASE

摘要：本文主要讲述分布式系统开发的一些相关理论基础。一、ACID 事务的四个特征： 1、Atomic原子性事务必须是一个原子的操作序列单元，事务中包含的各项操作在一次执行过程中，要么全部执行成功，要么全部不执行，任何一项失败，整个事务回滚，只有全部都执行成功，整个事务才算成功。 2、Consisten 阅读全文

posted @ 2017-01-04 10:53 bonelee 阅读(430) 评论(0) 推荐(0)

2017年1月3日

分形树Fractal tree介绍——具体如何结合TokuDB还没有太懂，先记住其和LSM都是一样的适合写密集

摘要：在目前的Mysql数据库中，使用最广泛的是innodb存储引擎。innodb确实是个很不错的存储引擎，就连高性能Mysql里都说了，如果不是有什么很特别的要求，innodb就是最好的选择。当然，这偏文章讲的是TokuDB，不是innodb，相比innodb，TokuDB有着自己的特点。转自：htt 阅读全文

posted @ 2017-01-03 15:47 bonelee 阅读(4672) 评论(0) 推荐(0)

TokuDB介绍——本质是分形树（一个叶子4MB）+缓存减少写操作

摘要：其性能特点见：http://www.cnblogs.com/billyxp/p/3567421.html TokuDB 是一个高性能、支持事务处理的 MySQL 和 MariaDB 的存储引擎。TokuDB 的主要特点则是对高写压力的支持。 TokuDB 是一个高性能、支持事务处理的 MySQL 和阅读全文

posted @ 2017-01-03 15:34 bonelee 阅读(1319) 评论(0) 推荐(0)

LSM树——放弃读能力换取写能力，将多次修改放在内存中形成有序树再统一写入磁盘

摘要： LSM树（Log-Structured Merge Tree）存储引擎代表数据库：nessDB、leveldb、hbase等核心思想的核心就是放弃部分读能力，换取写入的最大化能力。LSM Tree ，这个概念就是结构化合并树的意思，它的核心思路其实非常简单，就是假定内存足够大，因此不需要每次有数阅读全文

posted @ 2017-01-03 14:31 bonelee 阅读(11857) 评论(2) 推荐(3)

一致性哈希算法——算法解决的核心问题是当slot数发生变化时，能够尽量少的移动数据

摘要：一致性哈希算法摘自：http://blog.codinglabs.org/articles/consistent-hashing.html 算法简述一致性哈希算法（Consistent Hashing）最早在论文《Consistent Hashing and Random Trees: Dist 阅读全文

posted @ 2017-01-03 12:11 bonelee 阅读(2280) 评论(0) 推荐(0)

大数据日知录要点整理

摘要：大数据日知录要点整理大数据日知录要点整理第0 章当谈论大数据时我们在谈什么 1 NOSQL选型：kv-cassandra、dynamo，列式存储-HBase，图存储-Neo4j 社交网络数据存储适合用图数据库，而实时响应要求较高的场合适合Hbase等列式数据库。海量数据批处理任务，Hadoop 阅读全文

posted @ 2017-01-03 11:26 bonelee 阅读(1019) 评论(0) 推荐(0)

将者，智、信、仁、勇、严也。

Hi，我是李智华，华为-安全AI算法专家，欢迎来到安全攻防对抗的有趣世界。

公告