Kafka学习笔记 - 随笔分类 - 时光飞逝，逝者如斯

摘要：0x00 概述本文主要介绍了如何利用Kafka自带的性能测试脚本及Kafka Manager测试Kafka的性能，以及如何使用Kafka Manager监控Kafka的工作状态，最后给出了Kafka的性能测试报告。 0x01 性能测试及集群监控工具 Kafka提供了非常多有用的工具，如Kafka设阅读全文

posted @ 2019-09-30 13:33 时光飞逝，逝者如斯阅读(928) 评论(0) 推荐(0) 编辑

Kafka学习笔记之Kafka Consumer设计解析

摘要：0x00 摘要本文主要介绍了Kafka High Level Consumer，Consumer Group，Consumer Rebalance，Low Level Consumer实现的语义，以及适用场景。以及未来版本中对High Level Consumer的重新设计–使用Consumer 阅读全文

posted @ 2019-09-30 13:12 时光飞逝，逝者如斯阅读(247) 评论(0) 推荐(0) 编辑

Kafka学习笔记之Kafka High Availability(下)

摘要：0x00 摘要本文在上篇文章基础上，更加深入讲解了Kafka的HA机制，主要阐述了HA相关各种场景，如Broker failover，Controller failover，Topic创建/删除，Broker启动，Follower从Leader fetch数据等详细处理过程。同时介绍了Kafka提阅读全文

posted @ 2019-09-30 10:35 时光飞逝，逝者如斯阅读(159) 评论(0) 推荐(0) 编辑

Kafka学习笔记之Kafka High Availability(上)

摘要：0x00 摘要 Kafka在0.8以前的版本中，并不提供High Availablity机制，一旦一个或多个Broker宕机，则宕机期间其上所有Partition都无法继续提供服务。若该Broker永远不能再恢复，亦或磁盘故障，则其上数据将丢失。而Kafka的设计目标之一即是提供数据持久化，同时对于阅读全文

posted @ 2019-09-30 10:01 时光飞逝，逝者如斯阅读(181) 评论(0) 推荐(0) 编辑

Kafka学习笔记之Kafka背景及架构介绍

摘要：0x00 概述本文介绍了Kafka的创建背景，设计目标，使用消息系统的优势以及目前流行的消息系统对比。并介绍了Kafka的架构，Producer消息路由，Consumer Group以及由其实现的不同消息分发方式，Topic & Partition，最后介绍了Kafka Consumer为何使用p 阅读全文

posted @ 2019-09-23 11:12 时光飞逝，逝者如斯阅读(264) 评论(0) 推荐(0) 编辑

Kafka学习笔记之K8S内filebeat传输到kafka报错带解决方案

摘要：0x00 概述 filebeat非常轻量级，正常情况下占用的资源几乎都能忽略不计，但是部署后发现资源占用很大，所以怀疑是filebeat本身出了问题。第一时间查看filebeat日志（默认路径/var/log/filebeat/filebeat，K8S需要在控制台实时查看pod的日志），发现有大量阅读全文

posted @ 2019-09-03 19:07 时光飞逝，逝者如斯阅读(1259) 评论(0) 推荐(0) 编辑

Kafka学习笔记之如何永久删除Kafka的Topic

摘要：0x00 问题描述使用kafka-topics --delete命令删除topic时并没有真正的删除，而是把topic标记为：“marked for deletion”，导致重新创建相同名称的Topic时报错“already exists”。 0x01 问题复现 1. 登录Kafka集群所在的服务阅读全文

posted @ 2019-08-15 19:00 时光飞逝，逝者如斯阅读(857) 评论(0) 推荐(0) 编辑

Kafka学习笔记之Kafka自身操作日志的清理方法(非Topic数据)

摘要：0x00 概述本文主要讲Kafka自身操作日志的清理方法(非Topic数据)，Topic数据自己有对应的删除策略，请看这里。 Kafka长时间运行过程中，在kafka/logs目录下产生了大量的kafka-request.log.*和server.log.*文件，其中*代表日期和时间，比如kafk 阅读全文

posted @ 2019-07-01 14:02 时光飞逝，逝者如斯阅读(3834) 评论(1) 推荐(1) 编辑

Kafka学习笔记之Kafka日志删出策略

摘要：0x00 概述 kafka将topic分成不同的partitions，每个partition的日志分成不同的segments，最后以segment为单位将陈旧的日志从文件系统删除。假设kafka的在server.properity文件中设置的日志目录为tmp/kafka-logs，对于名为test 阅读全文

posted @ 2019-07-01 13:50 时光飞逝，逝者如斯阅读(3378) 评论(0) 推荐(0) 编辑

Kafka学习笔记之confluent platform入门

摘要：0x00 下载 http://www.confluent.io/download，打开后，显示最新版本3.0.0,然后在右边填写信息后，点击Download下载。之后跳转到下载页面，选择zip 或者 tar都行，下载完成后上传linux系统，解压即完成安装。 zip and tar archiv 阅读全文

posted @ 2019-03-18 10:17 时光飞逝，逝者如斯阅读(1683) 评论(0) 推荐(0) 编辑

Kafka学习笔记之Kafka三款监控工具

摘要：0x00 概述在之前的博客中，介绍了Kafka Web Console这个监控工具，在生产环境中使用，运行一段时间后，发现该工具会和Kafka生产者、消费者、ZooKeeper建立大量连接，从而导致网络阻塞。并且这个 Bug也在其他使用者中出现过，看来使用开源工具要慎重！该Bug暂未得到修复，不阅读全文

posted @ 2019-03-18 09:28 时光飞逝，逝者如斯阅读(685) 评论(0) 推荐(0) 编辑

Kafka学习笔记之为什么使用Kafka

摘要：在介绍为什么使用kafka之前，我们有必要来了解一下什么是kafka？ 0x00 什么是kafka Kafka是由LinkedIn开发的一个分布式的消息系统，使用Scala编写，它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Storm，Spark，Flink都支持与Kafk 阅读全文

posted @ 2019-01-23 08:56 时光飞逝，逝者如斯阅读(500) 评论(0) 推荐(0) 编辑

随笔分类 - Kafka学习笔记

公告