摘要：
本篇博客为著名的 RAFT 一致性算法论文的中文翻译，论文名为《In search of an Understandable Consensus Algorithm (Extended Version)》(寻找一种易于理解的一致性算法)。 Raft 是一种用来管理日志复制的一致性算法。它和 Paxo 阅读全文
摘要：
除非特别说明，否则本文提到的写操作都是 buffer write/write back。 起因 前几天讨论到一个问题：Linux 下文件 close成功，会不会触发 “刷盘”？ 其实这个问题根本不用讨论，查一下就知道。 man 2 close 的 NOTES 一节里有这么一段话： A success 阅读全文
摘要：
kafka-0.8.2 新特性 producer不再区分同步（sync）和异步方式（async），所有的请求以异步方式发送，这样提升了客户端效率。producer请求会返回一个应答对象，包括偏移量或者错误信。这种异步方地批量的发送消息到kafka broker节点，因而可以减少server端资源的开 阅读全文
摘要：
Kafka自0.9.0.0版本引入了配额管理(quota management)，旨在broker端对clients发送请求进行限流(throttling)。目前Kafka支持两大类配额管理： 网络带宽（network bandwidth）配额管理：定义带宽阈值来限制请求发送速率，阈值单位是字节/秒 阅读全文
摘要：
1.1个partition的默认leader是replicas中的第一个replica 2.kafka controller会启动一个定时的check线程，kafka默认是5min周期，mafka是30min周期。去check当前的leader信息 3.该线程的工作原理: controller ch 阅读全文
摘要：
1 . 简介 GFS, Big Table, Map Reduce称为Google的三驾马车，是许多基础服务的基石 GFS于2003年提出，是一个分布式的文件系统，与此前的很多分布式系统的前提假设存在很大的不同，适用于以下场景 1）认为组件失效是一种常态，提供了容错机制，自动负载均衡，使得分布式文件 阅读全文
摘要：
Worker、Executor、Task详解： Storm在集群上运行一个Topology时，主要通过以下3个实体来完成Topology的执行工作：1. Worker Process（工作进程）——Spout/Bolt中运行具体处理逻辑的进程2. Executor（线程、执行器）——物理线程3. T 阅读全文
摘要：
最近重装了系统，于是便重新配置了一下终端，使其更符合用户习惯。 效果如下： 拥有语法高亮，命令行tab补全，自动提示符，显示Git仓库状态等功能。 安装 首先我们下载的 iTem2 这个软件，比Mac自带的终端更加强大。直接官网 http://iterm2.com/ 下载并安装即可。 配置 将iTe 阅读全文
摘要：
1. 修改/etc/profile文件 特点：所有用户的shell都有权使用你配置好的环境变量 说明：如果你的电脑仅用作开发，建议使用此配置，因为所有用户的shell都有权使用你配置好的环境变量，所以有可能会给系统带来安全性问题。 [plain] view plain copy #1：编辑/etc/ 阅读全文