Kafka得介绍与单节点部署

Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。

Kafka是一种高吞吐量的分布式发布订阅消息系统，有如下特性：

• 通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。
• 高吞吐量即使是非常普通的硬件Kafka也可以支持每秒数百万的消息。
• 支持通过Kafka服务器和消费机集群来分区消息。
• 支持Hadoop并行数据加载。

Kafka单节点部署

 

操作系统：CentOS Linux release 7.1.1503 (Core)

jkd版本：1.7.0_79 不限于1.8版本

zookeeper版本：zookeeper-3.4.8

说明：确保zookeeper集群已经在上面三台服务器上部署成功。在192.168.1.39服务器上伪集群。

 

下载kafka

访问网址：http://kafka.apache.org/

左侧导航栏最下面有个Download按钮，点进去

进入网址：http://kafka.apache.org/downloads

我写这篇笔记的时候，官方建议下载 kafka_2.11-1.0.0.tgz，我们选择编译好的tar包，即上图中红色框框标记的

 

解压kafka

[root@test02 src]# tar -zxvf kafka_2.11-1.0.0.tgz

[root@test02 src]# mv kafka_2.11-1.0.0 /data/kafka

移动并重命名

 

配置kafka

[root@test02 src]# cd /data/kafka/config/

[root@test02 config]# vim server.properties

修改

listeners=PLAINTEXT://192.168.1.139:9092

注意配置文件中带有localhost的配置文件 要改成zookeeper部署得ip

 

开启相关端口

kafka通信默认是通过9092端口，也就是我们上面配的listeners

[root@test02 kafka]# ./bin/kafka-server-start.sh -daemon ./config/server.properties

jps命令检查是否启动成功

[root@test02 kafka]# jps
7131 Kafka
1975 QuorumPeerMain
8223 Jps
1961 QuorumPeerMain
1963 QuorumPeerMain

telnet登录

[root@test02 kafka]# telnet 192.168.1.139 9092
Trying 192.168.1.139...
Connected to 192.168.1.139.
Escape character is '^]'.

成功

 

本文参考https://www.cnblogs.com/subendong/p/7786547.html