Kafka生产消费API JAVA实现
摘要：Maven依赖： Kafka生产者简单接口JAVA实现： Kafka消费者简单接口JAVA实现 Kafka新消费者接口JAVA实现
阅读全文
posted @ 2019-05-09 17:22
随笔分类 - Kafka系列
Kafka如何彻底删除topic及数据
摘要：前言：删除kafka topic及其数据，严格来说并不是很难的操作。但是，往往给kafka 使用者带来诸多问题。项目组之前接触过多个开发者，发现都会偶然出现无法彻底删除kafka的情况。本文总结多个删除kafka topic的应用场景，总结一套删除kafka topic的标准操作方法。 step1：
阅读全文
posted @ 2019-04-15 13:25
zookeeper删除kafka元数据
摘要：问题：卸载kafka前未删除kafka topic,重新安装kafka后，生成跟之前topic名字相同的topic时报错，显示topic已存在 原因：kafka topic的元数据存储在zookeeper里，卸载kafka前未删除topic,之前topic的元数据仍存在zk里，需要手动删除zk里的元
阅读全文
posted @ 2017-01-16 13:58
Kafka consumer处理大消息数据问题
摘要：案例分析 处理kafka consumer的程序的时候，发现如下错误： 如上log可以看出，问题就是有一个较大的消息数据在codeTopic的partition 3上，然后consumer未能消费，提示我可以减小broker允许进入的消息数据的大小，或者增大consumer程序消费数据的大小。 从l
阅读全文
posted @ 2017-01-12 13:04
Kafka Shell基本命令（包括topic的增删改查）
摘要：转载请注明出处：http://www.cnblogs.com/xiaodf/ 创建kafka topic 查看所有topic列表 查看指定topic信息 控制台向topic生产数据 控制台消费topic的数据 查看topic某分区偏移量最大（小）值 增加topic分区数 删除topic，慎用，只会删
阅读全文
posted @ 2016-11-23 13:09
Kafka Topic ISR不全，个别Spark task处理时间长
摘要：现象 Spark streaming读kafka数据做业务处理时，同一个stage的task,有个别task的运行时间比多数task时间都长，造成业务延迟增大。 查看业务对应的topic发现当topic isr不足时，会出现个别task运行时间过长的现象. 原因 和大部分分布式系统一样，Kafka处
阅读全文
posted @ 2016-11-22 19:12
kafka性能基准测试
摘要：转载请注明出处：http://www.cnblogs.com/xiaodf/ 1、测试环境 该benchmark用到了六台机器，机器配置如下 l IntelXeon 2.5 GHz processor with six cores l Six7200 RPM SATA drives l 32GB o
阅读全文
posted @ 2016-11-02 16:50
flume+kafka+smart数据接入实施手册
摘要：1. 概述 本手册主要介绍了，一个将传统数据接入到Hadoop集群的数据接入方案和实施方法。供数据接入和集群运维人员参考。 1.1. 整体方案 Flume作为日志收集工具，监控一个文件目录或者一个文件，当有新数据加入时，收集新数据发送给Kafka。Kafka用来做数据缓存和消息订阅。Kafka里面的
阅读全文
posted @ 2015-10-13 11:01
分布式消息队列kafka系列介绍 — 核心API介绍及实例
摘要：原文地址：http://www.inter12.org/archives/834 一 PRODUCER的API 1.Producer的创建，依赖于ProducerConfig public Producer(ProducerConfig config); 2.单个或是批量的消息发送 public v
阅读全文
posted @ 2015-07-21 10:55
