Kafka--Kafka简述

 

Kafka的诞生

Kafka最初是LinkedIn的一个内部基础设施系统。我们发现，虽然有很多数据库和系统可以用来存储数据，但在我们的架构里，刚好缺一个可以帮助处理持续数据流的组件。

我们希望能够把数据看成是持续变化和不断增长的流，并给予这样的想法构建出一个数据系统，事实上，是一个数据架构。

Kafka一开始被用在社交网络的实时应用和数据流当中，而现在已经成为下一代数据架构的基础。

 

 

Kafka充当的角色

Kafka是一个流平台，在这个平台上可以发布和订阅数据流，并把它们保存起来，进行处理，这就是构建Kafka的初衷。

Kafka有点像消息系统，允许发布和订阅消息流。从这点来看，它类似于ActiveMQ，RabbitMQ或IBM的MQSeries等产品。

尽管看上去有些相似，但Kafka与这些传统的消息系统仍然存在很多重要的不同点，这些差异使它完全不同于消息系统。

 

 

Kafka与传统消息系统

首先，作为一个现代的分布式系统，Kafka以集群的方式运行，可以自由伸缩，处理公司的所有应用程序。Kafka集群并不是一组独立运行的broker，而是一个可以灵活伸缩的中心平台，可以处理整个公司所有的数据流。

其次，Kafka可以按照要求存储数据，保存多久都可以。作为数据连接层，Kafka提供了数据传递保证--可复制，持久化，保留多长时间完全可以自行决定。

最后，流式处理将数据处理的层次提升到了新高度，消息系统只会传递消息，而Kafka的流式处理能力让你只用很少的代码就能够动态地处理派生流和数据集。

 

 

Kafka与Hadoop

Hadoop可以存储和定期处理大量的数据文件，而Kafka可以存储和持续处理大型的数据流。

从技术角度来看，它们有着惊人的相似之处，很多人将新兴的流式处理看成批处理的超集。

它们之间的最大不同体现在持续的低延迟处理和批处理之间的差异上。

Hadoop和大数据主要应用在数据分析上，而Kafka因其低延迟的特点更适合用在核心的业务应用上。

业务事件时刻在发生，Kafka能够及时对这些事件作出相应，基于Kafka构建的微服务直接为业务运营提供支撑，提升用户体验。

 

 

 

Kafka与数据集成工具

Kafka与ETL工具或其他数据集成工具之间也可以进行一番比较。

Kafka和这些工具都擅长移动数据，但我想它们最大的不同在于Kafka颠覆了传统的思维。Kafka并非只是把数据从一个系统拆解出来再塞进另一个系统，它其实是一个面向实时数据流的平台。也就是说，它不仅可以将现有的应用程序和数据系统连接起来，它还能用于加强这些触发相同数据流的应用。我们认为这种以数据流为中心的架构是非常重要的。在某种程度上说，这些数据流是现代数字科技公司的核心，与他们的现金流一样重要。

 

 

应用场景

用于时间驱动微服务系统的消息总线，流式应用和大规模数据管道。