随笔分类 - 中间件-Kafka
摘要：参考： RabbitMQ和Kafka到底怎么选？ 17 个方面，综合对比 Kafka、RabbitMQ、RocketMQ、ActiveMQ 四个分布式消息队列 RabbitMQ和Kafka到底怎么选？ RabbitMQ和Kafka的比较 消息队列应用场景及ActiveMQ、RabbitMQ、Rock
阅读全文
摘要：参考： 刨根问底，Kafka消息中间件到底会不会丢消息 面试官问：Kafka 会不会丢消息？怎么处理的?
阅读全文
摘要：试官问：Kafka 会不会丢消息？怎么处理的? 刨根问底，Kafka消息中间件到底会不会丢消息 17 个方面，综合对比 Kafka、RabbitMQ、RocketMQ、ActiveMQ 四个分布式消息队列 RabbitMQ和Kafka到底怎么选？ 大白话+13张图解 Kafka Kafka 基本原理
阅读全文
摘要：大规模使用 Apache Kafka 的20个最佳实践 快速了解Kafka的概念与架构 Kafka是一种高效的分布式消息系统。在性能上，它具有内置的数据冗余度与弹性，也具有高吞吐能力和可扩展性。 在功能是，它支持自动化的数据保存限制，能够以“流”的方式为应用提供数据转换，以及按照“键-值(key-v
阅读全文
摘要：Kafka不支持读写分离 Kafka 并不支持主写从读，这是为什么呢? 从代码层面上来说，虽然增加了代码复杂度，但在 Kafka 中这种功能完全可以支持。 对于 这个问题，我们可以从“收益点”这个角度来做具体分析。 主写从读可以让从节点去分担主节 点的负载压力，预防主节点负载过重而从节点却空闲的情况
阅读全文
摘要：异常处理 代码异常十之八九，十段代码九个bug，哈哈哈哈。 平常程序异常我们使用try catch捕获异常，在catch方法中根据异常类型进行相关处理， 既然我们可以使用try catch处理异常，那为什么还要使用ConsumerAwareErrorHandler异常处理器去处理异常呢？ 首先，Ka
阅读全文
摘要：消息过滤器 消息过滤器可以在消息抵达监听容器前被拦截，过滤器根据系统业务逻辑去筛选出需要的数据再交由KafkaListener处理。 配置消息其实是非常简单的额，只需要为监听容器工厂配置一个RecordFilterStrategy(消息过滤策略)， 返回true的时候消息将会被抛弃，返回false时
阅读全文
摘要：定时启动的意义何在 如果只学习技术不讨论其应用范围那就是在耍流氓啊，为了不做那个流氓，我还是牺牲一下色相吧$_$ 在这里我举一个定时启动的应用场景： 比如现在单机环境下，我们需要利用Kafka做数据持久化的功能，由于用户活跃的时间为早上10点至晚上12点， 那在这个时间段做一个大数据量的持久化可能会
阅读全文
摘要：目的 软件需要使用什么技术都是按照业务逻辑来的嘛，那自动转发相对应的业务可以是什么呢？ 可以使用转发功能实现业务解耦，系统A从Topic-A中获取到消息，进行处理后转发到Topic-B中，系统B监听Topic-B获取消息再次进行处理， 这个消息可以是订单相关数据，系统A处理用户提交的订单审核，系统B
阅读全文
摘要：1. 消息监听 对于Kafka中Topic的数据消费，我们一般都选择使用消息监听器进行消费，怎么把消息监听器玩出花来呢，那就得看看它所实现的功能了。 Spring-Kafka中消息监听大致分为两种类型， 一种是单条数据消费， 一种是批量消费； 两者的区别只是在于监听器一次性获取消息的数量。 Gene
阅读全文
摘要：为什么要使用Kafka事务 在日常开发中，数据库的事务几乎是必须用到的，事务回滚不一定在于数据增删改异常，可能系统出现特定逻辑判断的时候也需要进行数据回滚，Kafka亦是如此， 我们并不希望消息监听器接收到一些错误的或者不需要的消息。 SpringBoot使用数据库事务非常简单，只需要在方法上加上@
阅读全文
摘要：我们使用KafkaTemplate.send(String data)这个方法发送消息到Kafka中，显然这个方法并不能满足我们系统的需求，那我们需要查看一下KafkaTemplate所实现的接口，看看还提供了什么方法。 当我们发送消息到Kafka后，我们又怎么去确认消息是否发送成功呢？这就涉及到K
阅读全文
摘要：Spring-Kafka spring-kafka_配置参数 spring-kafka-消费者 spring-kafka-生产者 Spring Kafka（一）起步 Spring Kafka（二）操作Topic以及Kafka Tool 2的使用 Spring-Kafka（三）-KafkaTempla
阅读全文
摘要：1. 为什么要手动创建Topic 我们从到到尾都没有创建过"topic.quick.demo"这个Topic，这是因为KafkaTemplate在发送的时候就已经帮我们完成了创建的操作 ，所以我们不需要主动创建"topic.quick.demo"这个Topic，而是交由KafkaTemplate去完
阅读全文
摘要：编写第一个Demo 实现顺序 创建消费者和生产者的Map配置 根据Map配置创建对应的消费者工厂(consumerFactory)和生产者工厂(producerFactory) 根据consumerFactory创建监听器的监听器工厂 根据producerFactory创建KafkaTemplate
阅读全文
摘要：一般电商应用的订单队列架构思想 技术专栏 | RocketMQ基础与实战——RocketMq下载与安装 ActiveMQ · 基础篇 在家办公这些天整理的Kafka知识点大全 面试题：Kafka为什么速度那么快？ 17 个方面，综合对比 Kafka、RabbitMQ、RocketMQ、ActiveM
阅读全文
摘要：参考 下载kafka安装包: https://www-eu.apache.org/dist/zookeeper/zookeeper-3.4.14/ https://www.w3cschool.cn/apache_kafka/apache_kafka_installation_steps.html h
阅读全文
摘要：操作zookeeper 验证zookeeper集群的运行状态$ zkServer.sh statusZooKeeper JMX enabled by defaultUsing config: /usr/local/zookeeper/zookeeper-3.4.14/bin/../conf/zoo.
阅读全文
摘要：1. Kafka架构总览 Kafka是一个分布式的消息引擎。具有以下特征 能够发布和订阅消息流（类似于消息队列） 以容错的、持久的方式存储消息流 多分区概念，提高了并行能力 Topic 消息的主题、队列，每一个消息都有它的topic，Kafka通过topic对消息进行归类。 Kafka中可以将Top
阅读全文