摘要: 描述: Request processing failed; nested exception is org.springframework.data.mongodb.UncategorizedMongoDbException: Query failed with error code 17144 阅读全文
posted @ 2020-04-10 15:19 布咚嘞 阅读(888) 评论(0) 推荐(0) 编辑
摘要: spring boot kafak 自动配置类为 org.springframework.boot.autoconfigure.kafka.KafkaProperties @ConfigurationProperties(prefix = "spring.kafka") public class K 阅读全文
posted @ 2020-03-26 16:00 布咚嘞 阅读(2552) 评论(0) 推荐(0) 编辑
摘要: 当 auto.commit.enable 设置为false时,表示kafak的offset由customer手动维护,spring-kafka提供了通过ackMode的值表示不同的手动提交方式; ackMode有以下7种值: public enum AckMode { // 当每一条记录被消费者监听 阅读全文
posted @ 2020-01-14 21:29 布咚嘞 阅读(8030) 评论(0) 推荐(0) 编辑
摘要: kafka 提供了一个镜像操作工具 kafka-mirror-maker.sh 用于将一个集群中的数据同步到另一个集群中去。 kafka 镜像操作工具的本质是一个消费者,从源集群中待迁移的主题消费数据,然后创建一个生产者,将消费者从源集群中拉取到的数据写入目标集群。 将 host 为host1 的k 阅读全文
posted @ 2019-06-29 13:54 布咚嘞 阅读(1700) 评论(0) 推荐(0) 编辑
摘要: 在0.9版本之后,kafka 增加了身份认证和权限控制 两种安全机制。 身份认证:指客户端与服务端连接进行身份认证;包括 客户端与kafka代理之间、代理与代理之间、代理与zookeeper之间的连接认证;目前支持 SSL 、 SASL/Kerberos 、SASL/PLAIN 这3种认证机制; 权 阅读全文
posted @ 2019-06-29 11:32 布咚嘞 阅读(230) 评论(0) 推荐(0) 编辑
摘要: kafka 提供了 kafka-configs.sh 脚本用于对配置进行管理操作,支持修改配置(--alter)和查看(--describe)两个基本操作。 --alter 和 --add-config 指令组合可以实现增加或者修改配置; --alter 和 --delete-config 指令组合 阅读全文
posted @ 2019-06-28 15:00 布咚嘞 阅读(245) 评论(0) 推荐(0) 编辑
摘要: 1、消费消息 kafka 的消费者以pull的方式获取消息,同时kafka采用消费组的模式,每个消费组都属于某一个消费组(在创建消费者时若不指定消费组,则属于默认消费组),消费组是一个全局概念,因此设置group.id时,要确保该值在kafka集群中唯一。 对于同一条消息,只能被同一个组下某一个消费 阅读全文
posted @ 2019-06-28 10:02 布咚嘞 阅读(219) 评论(0) 推荐(0) 编辑
摘要: 1、启动生产者 kafka 自带了 kafka-console-producer.sh 脚本,通过该脚本可以在终端调用 kafka 生产者向 kafka 发送消息; 该脚本运行时需要指定 broker-list(kafka代理地址列表) 和 topic(消息被发送的目标主题) 两个比传参数; 可选参 阅读全文
posted @ 2019-06-27 14:07 布咚嘞 阅读(185) 评论(0) 推荐(0) 编辑
摘要: 对于任意一个类,都需要由加载它的类加载器和这个类本身一同确立其在Java虚拟机中的唯一性,每一个类加载器,都拥有一个独立的类名称空间;这句话的意思是比较两个类是否“相等”,只有在这两个类是由同一个类加载器加载的前提下才有意义,否则,即使这两个类来源于同一个Class文件,被同一个虚拟机加载,只要加载 阅读全文
posted @ 2019-06-27 13:36 布咚嘞 阅读(216) 评论(0) 推荐(0) 编辑
摘要: 1、创建主题 kafka提供了两种方式创建主题 1):若代理设置了 auto.create.topics.enable=true,该配置默认值是true,当生产者向一个还未创建的主题发送一个消息,会自动创建一个拥有 ${num.partitions} 个分区和 ${default.replicati 阅读全文
posted @ 2019-06-26 20:25 布咚嘞 阅读(431) 评论(0) 推荐(0) 编辑