kafka介绍及安装配置（windows）

　　菜谱微信小程序，操作简单，教程详细，欢迎大家使用

　　

 

• Kafka介绍

Kafka是分布式的发布—订阅消息系统。它最初由LinkedIn(领英)公司发布，使用Scala和Java语言编写，与2010年12月份开源，成为Apache的顶级项目。Kafka是一个高吞吐量的、持久性的、分布式发布订阅消息系统。

三大特点：

　　高吞吐量 可以满足每秒百万级别消息的生产和消费——生产消费。

　　持久性 有一套完善的消息存储机制，确保数据的高效安全的持久化——中间存储。

　　分布式 基于分布式的扩展和容错机制；Kafka的数据都会复制到几台服务器上。当某一台故障失效时，生产者和消费者转而使用其它的机器——整体健壮性。

核心：

　　Broker:消息代理，一个Kafka节点就是一个broker，多个broker可以组成一个Kafka集群。

　　Topic:主题，Kafka处理的消息的不同分类。

　　Partition:Topic物理上的分组，一个topic可以分为多个partion,每个partion是一个有序的队列。partion中每条消息都会被分配一个有序的Id(offset)

　　Message:消息，是通信的基本单位，每个producer可以向一个topic（主题）发布一些消息，每个消息都属于一个partition

　　Producer：消息和数据的生产者，向Kafka的一个topic发布消息。

　　Consumer：消息和数据的消费者，定于topic并处理其发布的消息。

• 安装配置

kafka依赖zookeeper，在Kafka的设计中，选择了使用Zookeeper来进行所有Broker的管理，体现在zookeeper上会有一个专门用来进行Broker服务器列表记录的点，节点路径为/brokers/ids；此外生产者、消费者的负载均衡可使用zookeeper实现等等。因此需要安装zookeeper

下载地址：

　　zookeeper：链接：https://pan.baidu.com/s/1iXbLPFzeKTeRaab5CSrD9Q  提取码：ipv9 

 

　　kafka：链接：https://pan.baidu.com/s/1BhT4XtMiU_J6PyNb7DtciQ  提取码：sbd5 

 

安装:

　　zookeeper:

　　　　1.下载解压（以C:\zookeeper3.4为例），将C:\zookeeper3.4\conf下的zoo_sample.cfg文件更名为zoo.cfg

       

　　　　2.打开zoo.cfg，编辑dataDir=c:\\zookeeper3.4\\temp

　　    

　　　　3.配置环境变量，系统变量-新建ZOOKEEPER_HOME；并在系统变量path中增加“%ZOOKEEPER_HOME%\bin;”

　　　　　　

　　　　　　

　　　　4.打开cmd窗口，输入zkServer启动，默认端口2181；使用kafka期间保持zookeeper启动

　　　　　　

　　　　　　

　　kafka：

　　　　1.下载解压（以C:\kafka2.12为例），打开c:\kafka2.12\config\server.properties，编辑log.dirs=c:\\kafka2.12\\kafka-logs， zookeeper.connect=localhost:2181

　　　　2.把c:\kafka2.12\bin\window\kafka-run-class.bat 中179行%CLASSPATH%加上双引号

　　　　　　

　　　　3.打开cmd窗口，进入kafka根目录下，输入 .\bin\windows\kafka-server-start.bat .\config\server.properties 运行

　　　　　　

 至此，kafka的安装配置完成；下篇文章将介绍springboot集成kafka，及其一些配置详解。

最后说一嘴，关于多个MQ的选型问题，适合项目的就是最好的，适不适合根据各个MQ的优劣势决定。