随笔分类 - Kafka
Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。
摘要：1、第1步：连接[root@lucky logs]$ cd /home/data/zookeeper-3.4.14/cmd/[root@lucky cmd]$ ll总用量 60-rw-r--r--. 1 test root 115 3月 1 17:35 nohup.out-rwxrwxrwx. 1
阅读全文
摘要：1.kafka为什么用到zookeeper（1）Kafka集群通过Zookeeper来管理kafka的配置，选举leader；（2）在Consumer Group发生变化时进行rebalance（3）所有的topic与broker的对应关系都由zk维护2.kafka的哪些组件需要注册到zookeep
阅读全文
摘要：Partition 数目与Replication Factor是在创建一个topic时非常重要的两个参数，这两个参数的取值会直接影响到系统的性能与稳定性。 尽量在第一次创建一个topic时就指定这两个参数，因为 如果Partition 数目在之后再次做调整，则会打乱key的顺序保证（同样的key会分
阅读全文
摘要：内容小白，包含JDK+Zookeeper+Kafka三部分。 JDK： 1) 安装包：Java SE Development Kit 9.0.1 下载地址：http://www.oracle.com/technetwork/java/javase/downloads/jdk9-downloads-3
阅读全文
