会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
jingshuiliushen
博客园
首页
博问
闪存
新随笔
订阅
管理
2020年4月10日
MongoDB分页获取数据时排序阶段缓存的数据溢出问题
摘要: 描述: Request processing failed; nested exception is org.springframework.data.mongodb.UncategorizedMongoDbException: Query failed with error code 17144
阅读全文
posted @ 2020-04-10 15:19 布咚嘞
阅读(914)
评论(0)
推荐(0)
编辑
2020年3月26日
spring boot kafak 配置
摘要: spring boot kafak 自动配置类为 org.springframework.boot.autoconfigure.kafka.KafkaProperties @ConfigurationProperties(prefix = "spring.kafka") public class K
阅读全文
posted @ 2020-03-26 16:00 布咚嘞
阅读(2713)
评论(0)
推荐(0)
编辑
2020年1月14日
spring kafka消费者配置介绍----ackMode
摘要: 当 auto.commit.enable 设置为false时,表示kafak的offset由customer手动维护,spring-kafka提供了通过ackMode的值表示不同的手动提交方式; ackMode有以下7种值: public enum AckMode { // 当每一条记录被消费者监听
阅读全文
posted @ 2020-01-14 21:29 布咚嘞
阅读(8128)
评论(0)
推荐(0)
编辑
2019年6月29日
kafka 镜像操作
摘要: kafka 提供了一个镜像操作工具 kafka-mirror-maker.sh 用于将一个集群中的数据同步到另一个集群中去。 kafka 镜像操作工具的本质是一个消费者,从源集群中待迁移的主题消费数据,然后创建一个生产者,将消费者从源集群中拉取到的数据写入目标集群。 将 host 为host1 的k
阅读全文
posted @ 2019-06-29 13:54 布咚嘞
阅读(1707)
评论(0)
推荐(0)
编辑
kakfa 安全机制
摘要: 在0.9版本之后,kafka 增加了身份认证和权限控制 两种安全机制。 身份认证:指客户端与服务端连接进行身份认证;包括 客户端与kafka代理之间、代理与代理之间、代理与zookeeper之间的连接认证;目前支持 SSL 、 SASL/Kerberos 、SASL/PLAIN 这3种认证机制; 权
阅读全文
posted @ 2019-06-29 11:32 布咚嘞
阅读(238)
评论(0)
推荐(0)
编辑
2019年6月28日
配置管理
摘要: kafka 提供了 kafka-configs.sh 脚本用于对配置进行管理操作,支持修改配置(--alter)和查看(--describe)两个基本操作。 --alter 和 --add-config 指令组合可以实现增加或者修改配置; --alter 和 --delete-config 指令组合
阅读全文
posted @ 2019-06-28 15:00 布咚嘞
阅读(251)
评论(0)
推荐(0)
编辑
消费者基本操作
摘要: 1、消费消息 kafka 的消费者以pull的方式获取消息,同时kafka采用消费组的模式,每个消费组都属于某一个消费组(在创建消费者时若不指定消费组,则属于默认消费组),消费组是一个全局概念,因此设置group.id时,要确保该值在kafka集群中唯一。 对于同一条消息,只能被同一个组下某一个消费
阅读全文
posted @ 2019-06-28 10:02 布咚嘞
阅读(223)
评论(0)
推荐(0)
编辑
2019年6月27日
生产者基本操作
摘要: 1、启动生产者 kafka 自带了 kafka-console-producer.sh 脚本,通过该脚本可以在终端调用 kafka 生产者向 kafka 发送消息; 该脚本运行时需要指定 broker-list(kafka代理地址列表) 和 topic(消息被发送的目标主题) 两个比传参数; 可选参
阅读全文
posted @ 2019-06-27 14:07 布咚嘞
阅读(189)
评论(0)
推荐(0)
编辑
笔记:类加载器
摘要: 对于任意一个类,都需要由加载它的类加载器和这个类本身一同确立其在Java虚拟机中的唯一性,每一个类加载器,都拥有一个独立的类名称空间;这句话的意思是比较两个类是否“相等”,只有在这两个类是由同一个类加载器加载的前提下才有意义,否则,即使这两个类来源于同一个Class文件,被同一个虚拟机加载,只要加载
阅读全文
posted @ 2019-06-27 13:36 布咚嘞
阅读(216)
评论(0)
推荐(0)
编辑
2019年6月26日
主题管理
摘要: 1、创建主题 kafka提供了两种方式创建主题 1):若代理设置了 auto.create.topics.enable=true,该配置默认值是true,当生产者向一个还未创建的主题发送一个消息,会自动创建一个拥有 ${num.partitions} 个分区和 ${default.replicati
阅读全文
posted @ 2019-06-26 20:25 布咚嘞
阅读(434)
评论(0)
推荐(0)
编辑
下一页