摘要：
Spark优点 l运行速度快Spark拥有DAG执行引擎，支持在内存中对数据进行迭代计算。官方提供的数据表明，如果数据由磁盘读取，速度是Hadoop MapReduce的10倍以上，如果数据从内存中读取，速度可以高达100多倍。 l易用性好Spark不仅支持Scala编写应用程序，而且支持Java和 阅读全文
摘要：
Spark简介Spark是加州大学伯克利分校AMP实验室（Algorithms, Machines, and People Lab）开发通用内存并行计算框架。Spark在2013年6月进入Apache成为孵化项目，8个月后成为Apache顶级项目，速度之快足见过人之处，Spark以其先进的设计理念， 阅读全文
摘要：
消费数据 消息存储在log文件后，消费者就可以进行消费了。在讲消息队列通信的两种模式的时候讲到过点对点模式和发布订阅模式。Kafka采用的是发布订阅模式，消费者主动的去kafka集群拉取消息，与producer相同的是，消费者在拉取消息的时候也是找leader去拉取。 多个消费者可以组成一个消费者组 阅读全文
摘要：
保存数据 Producer将数据写入kafka后，集群就需要对数据进行保存了！kafka将数据保存在磁盘，可能在我们的一般的认知里，写入磁盘是比较耗时的操作，不适合这种高并发的组件。Kafka初始会单独开辟一块磁盘空间，顺序写入数据（效率比随机写入高）。 （1）Partition 结构 前面说过了每 阅读全文
摘要：
工作流程分析 （1）发送数据 我们看上面的架构图中，producer就是生产者，是数据的入口。注意看图中的红色箭头，Producer在写入数据的时候永远的找leader，不会直接将数据写入follower！那leader怎么找呢？写入的流程又是什么样的呢？我们看下图：发送的流程就在图中已经说明了，就 阅读全文
摘要：
Kafka的架构原理 上面简单的介绍了为什么需要消息队列以及消息队列通信的两种模式，下面主角介绍Kafka。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据，具有高性能、持久化、多副本备份、横向扩展能力。 （1）基础架构与名词解释 Producer：Pr 阅读全文
摘要：
消息队列通信的模式 （1）点对点模式 如上图所示，点对点模式通常是基于拉取或者轮询的消息传送模型，这个模型的特点是发送到队列的消息被一个且只有一个消费者进行处理。生产者将消息放入消息队列后，由消费者主动的去拉取消息进行消费。点对点模型的的优点是消费者拉取消息的频率可以由自己控制。但是消息队列是否有消 阅读全文
摘要：
Kafka一些重要设计思想 Consumergroup：各个consumer可以组成一个组，每个消息只能被组中的一个consumer消费，如果一个消息可以被多个consumer消费的话，那么这些consumer必须在不同的组。 消息状态：在Kafka中，消息的状态被保存在consumer中，brok 阅读全文
摘要：
一，别让我思考（Krug可用性第一定律） 别让我思考 做到让一切都不言而喻 去除强迫我们思考的的地方 二，扫描、满意即可、勉强应付（用户是如何使用web的） 事实一：我们不是阅读，而是扫描 我们总是处于忙碌之中 我们知道自己不必阅读所有内容 我们善于扫描 事实二：我们不做最佳选择，而是满意即可。 满 阅读全文
摘要：
Kafka诞生Kafka由 linked-in 开源kafka-即是解决上述这类问题的一个框架，它实现了生产者和消费者之间的无缝连接。kafka-高产出的分布式消息系统(A high-throughput distributed messaging system) Kafka的特性 高吞吐量、低延迟 阅读全文