2019年7月15日

Spring-kafka —— 生产者消费者重要配置

摘要: 一、生产者配置 属性 描述 类型 默认值 重要性 bootstrap.servers 用于建立与kafka集群的连接,这个list仅仅影响用于初始化的hosts,来发现全部的servers。格式:host1:port1,host2:port2,…,数量尽量不止一个,以防其中一个down了 list 阅读全文

posted @ 2019-07-15 10:27 曹伟雄 阅读(2965) 评论(0) 推荐(0) 编辑

Spring-Kafka —— 实现批量消费和手动提交offset

摘要: spring-kafka的官方文档介绍,可以知道自1.1版本之后, @KafkaListener开始支持批量消费,只需要设置batchListener参数为true 把application.yml中的enable-auto-commit设置为false,设置为不自动提交 这里containerFa 阅读全文

posted @ 2019-07-15 10:15 曹伟雄 阅读(18859) 评论(4) 推荐(1) 编辑

2019年7月13日

Spring-Kafka —— 消费重试机制实现

摘要: 消息处理问题 在从Kafka主题接收消息之后立即处理消息的消费者的实现非常简单。不幸的是,现实要复杂得多,并且由于各种原因,消息处理可能会失败。其中一些原因是永久性问题,例如数据库约束失败或消息格式无效。其他,如消息处理中涉及的依赖系统的临时不可用,可以在将来解决。在这些情况下,重试消息处理可能是一 阅读全文

posted @ 2019-07-13 18:07 曹伟雄 阅读(13644) 评论(2) 推荐(3) 编辑

Spring-Kafka —— 消费如何达到最高的吞吐量

摘要: 首先简单的介绍一下消费者对topic的订阅。客户端的消费者订阅了topic后,如果是单个消费者,那么消费者会顺序消费这些topic分区中的数据,如果是创建了消费组有多个消费者,那么kafak的服务端将这些topic平均分配给每个消费者。比如有2个topic,每个topic有2个分区,总共有4个分区, 阅读全文

posted @ 2019-07-13 17:46 曹伟雄 阅读(2848) 评论(0) 推荐(0) 编辑

Spring-Kafka —— AckMode介绍和手动提交分析总结

摘要: 前言 本文主要讲述一下spring for kafka的consumer在spring.kafka.consumer.enable-auto-commit是false情况下,AckMode的选项,及手动提交分析总结。 AckMode RECORD 每处理一条commit一次 BATCH(默认) 每次 阅读全文

posted @ 2019-07-13 17:44 曹伟雄 阅读(9033) 评论(0) 推荐(1) 编辑

Spring-Kafka —— KafkaListener定时启动和停止

摘要: 一、定时启动的应用场景 比如现在单机环境下,我们需要利用Kafka做数据持久化的功能,由于用户活跃的时间为早上10点至晚上12点,那在这个时间段做一个大数据量的持久化可能会影响数据库性能导致用户体验降低,我们可以选择在用户活跃度低的时间段去做持久化的操作,也就是晚上12点后到第二条的早上10点前。 阅读全文

posted @ 2019-07-13 17:33 曹伟雄 阅读(6638) 评论(1) 推荐(1) 编辑

Spring-Kafka —— KafkaListener禁止自启动

摘要: 应用服务启动时,KafkaListener默认会自动启动进行消费,如果想不自动消费,可以设置AutoStartup属性值为false 完整消费代码vk 阅读全文

posted @ 2019-07-13 17:28 曹伟雄 阅读(6121) 评论(0) 推荐(0) 编辑

Spring-Kafka —— KafkaListener手动启动和停止

摘要: 一、KafkaListener消费 二、使用KafkaListenerEndpointRegistry实现启动和停止功能 三、Controller 四、JSP界面 五、功能界面 阅读全文

posted @ 2019-07-13 17:17 曹伟雄 阅读(12782) 评论(1) 推荐(0) 编辑

Spring + MyBatis 框架下处理数据库异常

摘要: 一、概述 使用JDBC API时,很多操作都要声明抛出java.sql.SQLException异常,通常情况下是要制定异常处理策略。而Spring的JDBC模块为我们提供了一套异常处理机制,这套异常系统的基类是DataAccessException,它是RuntimeException的一种类型, 阅读全文

posted @ 2019-07-13 16:43 曹伟雄 阅读(11270) 评论(0) 推荐(1) 编辑

Spring Boot 2.0 集成 Druid 数据源

摘要: 一、Maven项目依赖 二、配置文件 由于使用了SpringBoot,所以大部分不需要我们手动配置,只需要进行简单的指定数据源等必要的配置: 三、测试 在配置中,我们把监控平台的路径设置为/druid/*,用户和密码为:admin/admin http://localhost:8080/xxxx/d 阅读全文

posted @ 2019-07-13 16:25 曹伟雄 阅读(471) 评论(0) 推荐(0) 编辑

导航