摘要：在spring应用中如果需要订阅kafka消息，通常情况下我们不会直接使用kafka-client, 而是使用更方便的一层封装spring-kafka。 在spring-kafka在运行时会启动两类线程，一类是Consumer线程，另一类是Listener线程。前者用来直接调用kafka-clien 阅读全文

摘要：ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。 Zookeeper的工作机制 Zookeeper 阅读全文

摘要：传统的文件拷贝 传统的读取文件数据并发送到网络的步骤如下： （1）操作系统将数据从磁盘文件中读取到内核空间的页面缓存； （2）应用程序将数据从内核空间读入用户空间缓冲区； （3）应用程序将读到数据写回内核空间并放入socket缓冲区； （4）操作系统将数据从socket缓冲区复制到网卡接口，此时数据 阅读全文

摘要：producer以及consumer如何知道该去哪个broker传送以及消费数据 producer可以指定一个或者多个broker的信息（ip:port），来获取kafka集群的元信息（最好多指定几个，否则这个broker连接不上了，就over了）。每个broker,topic有多少partitio 阅读全文

摘要：查看kafka版本 进入kafka安装目录 ... kafka/libs，看到类似kafka_2.12-2.0.0.jar这样的文件，2.12为scala版本，2.0.0是kafka版本（kafka使用了Scala进行开发）. zookeeper-server-start.sh 参照 kafka环境 阅读全文

摘要：环境准备 JDK + Kafka Kafka配置文件说明 /kafka_2.11-2.4.1/config/zookeeper.properties （zookeeper配置文件，管理kafka的broker） /kafka_2.11-2.4.1/config/server.properties # 阅读全文

摘要：Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统。producers通过网络将消息发送到Kafka集群，集群向消费者提供消息，如下图所示： 客户端和服务端通过TCP协议通信。Kafka提 阅读全文