摘要：
Kafka在提高效率方面做了很大努力。Kafka的一个主要使用场景是处理网站活动日志，吞吐量是非常大的，每个页面都会产生好多次写操作。读方面，假设每个消息只被消费一次，读的量的也是很大的，Kafka也尽量使读的操作更轻量化。我们之前讨论了磁盘的性能问题，线性读写的情况下影响磁盘性能问题大约有两个方面... 阅读全文
摘要：
之前讨论了consumer和producer是怎么工作的，现在来讨论一下数据传输方面。数据传输的事务定义通常有以下三种级别：最多一次:消息不会被重复发送，最多被传输一次，但也有可能一次不传输。最少一次:消息不会被漏发送，最少被传输一次，但也有可能被重复传输.精确的一次（Exactly once）:不... 阅读全文
摘要：
Kafka大量依赖文件系统去存储和缓存消息。对于硬盘有个传统的观念是硬盘总是很慢，这使很多人怀疑基于文件系统的架构能否提供优异的性能。实际上硬盘的快慢完全取决于使用它的方式。设计良好的硬盘架构可以和内存一样快。在6块7200转的SATA RAID-5磁盘阵列的线性写速度差不多是600MB/s，但是随... 阅读全文