随笔分类 - 大数据与分布式
摘要：本文始发于个人公众号： TechFlow ，原创不易，求个关注 今天是分布式专题的第14篇文章，我们一起来看看NoSQL数据库。 其实我很早就想写写分布式数据库相关的文章，既是我现在正在学习的，也是我很感兴趣的内容。但是谈到分布式数据库，会涉及很多相关的技术细节，等把相关的一些细节写明白的时候，已经
阅读全文
摘要：本文始发于个人公众号： TechFlow ，原创不易，求个关注 今天是分布式专题的第13篇，今天的文章我们不讲空洞的理论，来聊一个实际点的问题。 众所周知，微博的程序员经常不定期加班。和别的程序员不同，别的岗位的程序员可能加班是可控的，但是微博的程序员不是。为什么呢？因为程序员们无法预知明星们什么时
阅读全文
摘要：本文始发于个人公众号： TechFlow ，原创不易，求个关注 今天是分布式专题的第12篇文章，我们继续来看集群资源管理系统。 上一篇的文章当中我们简单了解了一下什么是分布式集群资源管理，它的诞生背景和解决的问题是什么，以及它大概有哪些优点和不足。上一章的内容比较表面，没有过多深入原理，这一篇文章我
阅读全文
摘要：本文始发于个人公众号： TechFlow ，原创不易，求个关注 今天是分布式专题的第11篇文章，我们一起来聊聊分布式集群资源管理。 在开始文章之前，我们先来问一个问题，为什么是国际上是亚马逊，国内是阿里这两家公司云计算搞得最好呢？这两家公司之间有一个巨大的共同点，就是它们都是电商公司。电商公司的特点
阅读全文
摘要：本文始发于个人公众号： TechFlow ，原创不易，求个关注 今天是分布式专题的第10篇文章，我们继续来聊聊LSMT这个数据结构。 LSMT是一个在分布式系统当中应用非常广泛，并且原理直观简单的数据结构。在上一篇文章当中我们进行了详细的讨论，有所遗忘或者是新关注的同学可以点击下方的链接回顾一下上一
阅读全文
摘要：本文始发于个人公众号： TechFlow ，原创不易，求个关注 今天是分布式系统的第九篇文章。 今天给大家分享的内容是LSM树，它的英文是Log structed Merge tree。看着有些发怵，但其实它的原理不难，和B树相比简直算是小儿科了。 并且这也是一个非常经典的数据结构，并且在大数据系统
阅读全文
摘要：本文始发于个人公众号： TechFlow ，原创不易，求个关注 今天是周五分布式系统的第八篇文章，核心内容是B+树的原理。 今天的文章是上周B树的延伸，所以新关注的或者是有所遗忘的同学建议先从下方链接回顾之前的内容。 硬核挑战——从零开始动手图解B树 B+树的特性 B+树和B树一样都是多路平衡树，也
阅读全文
摘要：本文始发于个人公众号： TechFlow ，原创不易，求个关注 今天继续介绍分布式系统当中常用的数据结构，今天要介绍的数据结构非常了不起，和之前介绍的布隆过滤器一样，是一个功能强大原理简单的数据结构。并且它的缺点和短板更少，应用更加广泛，比如广泛使用的Redis就有用到它。 SkipList简介 S
阅读全文
摘要：本文始发于个人公众号： TechFlow ，原创不易，求个关注 今天的文章和大家一起来学习大数据领域一个经常用到的算法——布隆过滤器。如果看过《数学之美》的同学对它应该并不陌生，它经常用在集合的判断上，在海量数据的场景当中用来快速地判断某个元素在不在一个庞大的集合当中。它的原理不难，但是设计非常巧妙
阅读全文
摘要：今天的文章来聊聊 向量时钟 ，在前文介绍分布式系统一致性的时候，曾经介绍过，在弱一致性模型当中会有一个因果性的问题。向量时钟算法正是设计出来解决因果关系问题的。 我们来回顾一下因果问题，在实际日常的网页行为当中，部分行为存在因果关系。比方说知乎里面回答问题，显然得先有一个同学提出问题，然后才能有各路
阅读全文
