随笔分类 - Kafka
摘要：一.kafka-manager简介 kafka-manager是目前最受欢迎的kafka集群管理工具，最早由雅虎开源，用户可以在Web界面执行一些简单的集群管理操作。具体支持以下内容： 管理多个集群 轻松检查群集状态（主题，消费者，偏移，代理，副本分发，分区分发） 运行首选副本选举 使用选项生成分区
阅读全文
摘要：1、下载 下载地址：http://www.kafkatool.com/download.html 2、安装 根据不同的系统下载对应的版本，我这里kafka版本是1.1.0，下载kafka tool 2.0.1。 双击下载完成的exe图标，傻瓜式完成安装。 3、简单使用 kafka环境搭建请参考：Ce
阅读全文
摘要：一 kafka的API操作 1.1 环境准备 1）在eclipse中创建一个java工程 2）在工程的根目录创建一个lib文件夹 3）解压kafka安装包，将安装包libs目录下的jar包拷贝到工程的lib目录下，并build path。 4）启动zk和kafka集群，在kafka集群中打开一个消费
阅读全文
摘要：一 Kafka在zookeeper中存储结构图 二 分析 2.1 topic注册信息 /brokers/topics/[topic] : 存储某个topic的partitions所有分配信息 2.2 partition状态信息 /brokers/topics/[topic]/partitions/[
阅读全文
摘要：一 Kafka HA设计解析 1.1 为何需要Replication 在Kafka在0.8以前的版本中，是没有Replication的，一旦某一个Broker宕机，则其上所有的Partition数据都不可被消费，这与Kafka数据持久性及Delivery Guarantee的设计目标相悖。同时Pro
阅读全文
摘要：一、下载 下载地址： http://kafka.apache.org/downloads.html 我这里下载的是Scala 2.11对应的 kafka_2.11-1.1.0.tgz 二、kafka安装 集群规划 Zookeeper集群安装参考： CentOS7.5搭建Zookeeper3.4.12
阅读全文
摘要：一、简介 1.1 概述 Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级
阅读全文
摘要：Spark Streaming + Kafka集成指南 Kafka项目在版本0.8和0.10之间引入了一个新的消费者API，因此有两个独立的相应Spark Streaming包可用。请选择正确的包， 请注意，0.8集成与后来的0.9和0.10代理兼容，但0.10集成与早期的代理不兼容。 注意：从Sp
阅读全文