kafka - 随笔分类 - 小人物的奋斗

kafka系列十、kafka常用管理命令

摘要：一、Topic管理 1、创建topic 2、新增partition 注：topic一旦创建，partition只能增加，不能减少 3、删除topic 4、查看topic列表 5、查看topic详细信息 6、查看某个topic的message数量二、consumer管理 1、查看consumer G 阅读全文

posted @ 2018-12-16 18:32 小人物的奋斗阅读(8025) 评论(0) 推荐(0) 编辑

kafka系列九、kafka事务原理、事务API和使用场景

摘要：一、事务场景二、几个关键概念和推导 1.因为producer发送消息可能是分布式事务，所以引入了常用的2PC，所以有事务协调者(Transaction Coordinator)。Transaction Coordinator和之前为了解决脑裂和惊群问题引入的Group Coordinator在选举阅读全文

posted @ 2018-12-15 23:52 小人物的奋斗阅读(24369) 评论(0) 推荐(4) 编辑

kafka系列八、kafka消息重复和丢失的场景及解决方案分析

摘要：消息重复和丢失是kafka中很常见的问题，主要发生在以下三个阶段：一、生产者阶段重复场景 1、根本原因生产发送的消息没有收到正确的broke响应，导致producer重试。 producer发出一条消息，broke落盘以后因为网络等种种原因发送端得到一个发送失败的响应或者网络中断，然后produ 阅读全文

posted @ 2018-12-15 19:00 小人物的奋斗阅读(14157) 评论(0) 推荐(5) 编辑

kafka系列七、kafka核心配置

摘要：一、producer核心配置 1、acks ：发送应答（默认值：1）生产者在考虑完成请求之前要求leader收到的确认的数量。这控制了发送的记录的持久性。允许以下设置: 2、batch.size：批量发送大小（默认：16384，16K）缓存到本地内存，批量发送大小，意思每次发送16K到broke 阅读全文

posted @ 2018-12-13 00:23 小人物的奋斗阅读(22506) 评论(0) 推荐(1) 编辑

摘要：package com.example.demo.topic; import kafka.admin.AdminUtils; import kafka.admin.RackAwareMode; import kafka.server.ConfigType; import kafka.utils.ZkUtils; import org.apache.kafka.common.requests.M... 阅读全文

posted @ 2018-12-11 23:10 小人物的奋斗阅读(3589) 评论(0) 推荐(0) 编辑

kafka系列五、kafka常用java API

摘要：引入maven包一、同步发送消息 1、创建topic: 2、代码 3、测试 1、创建consumer 2、运行程序二、异步发送消息三、及时发送消息相比前两种方式，该方式不关心结果，只管发送，所以比较快。四、自动提交offset 五、同步提交同步提交，提交后broke会阻塞等结果返回，在成阅读全文

posted @ 2018-12-10 23:16 小人物的奋斗阅读(6455) 评论(0) 推荐(0) 编辑

kafka系列四、kafka架构原理、高可靠性存储分析及配置优化

摘要：一、概述 Kakfa起初是由LinkedIn公司开发的一个分布式的消息系统，后成为Apache的一部分，它使用Scala编写，以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark等都支持与Kafka集成。 Kafka凭借着自身的阅读全文

posted @ 2018-12-01 22:42 小人物的奋斗阅读(4401) 评论(0) 推荐(4) 编辑

kafka系列三、Kafka三款监控工具比较

摘要：转载原文：http://top.jobbole.com/31084/ 通过研究，发现主流的三种kafka监控程序分别为： Kafka Web Conslole Kafka Manager KafkaOffsetMonitor 现在依次介绍以上三种工具：一、Kafka Web Conslole 使用阅读全文

posted @ 2018-12-01 18:50 小人物的奋斗阅读(2343) 评论(0) 推荐(0) 编辑

kafka系列二、kafka manager的安装和使用

摘要：1. Yahoo kafka manager介绍项目地址：https://github.com/yahoo/kafka-manager Requirements： Kafka 0.8.1.1 or 0.8.2.* sbt 0.13.x Java 8+ Kafka Manager是一个管控台，这款工阅读全文

posted @ 2018-11-29 23:50 小人物的奋斗阅读(2229) 评论(0) 推荐(0) 编辑

kafka系列一、kafka安装及部署、集群搭建

摘要：一、环境准备操作系统：Cent OS 7 Kafka版本：kafka_2.10 Kafka官网下载：请点击 JDK版本：1.8.0_171 zookeeper-3.4.10 操作系统：Cent OS 7 Kafka版本：kafka_2.10 Kafka官网下载：请点击 JDK版本：1.8.0_17 阅读全文

posted @ 2018-11-25 21:55 小人物的奋斗阅读(3074) 评论(0) 推荐(0) 编辑

不积小流，无以成江海！

随笔分类 - kafka