05 2023 档案

kafka消费者组状态--rebalance（参考其他作者文档）
摘要：零、kafka消费者组状态 Stable：消费者组中所有消费者都已经加入并且正在消费消息。 Rebalancing：消费者组正在重新平衡，即有消费者加入或退出消费者组时发生的状态。在重新平衡期间，Kafka会暂停所有消费者的消费，并重新分配分区。 Empty：消费者组中没有消费者或者所有消费者都已经 阅读全文
posted @ 2023-05-10 11:04 贾彤 阅读(658) 评论(0) 推荐(0) 编辑
spark资源动态调整--内容搬运，周知
摘要：1.动态资源分配 Spark的动态资源分配就是executor数据量的动态增减，具体的增加和删除数量根据业务的实际需要动态的调整。具体表现为：如果executor数据量不够，则增加数量，如果executor在一段时间内空闲，则移除这个executor。 动态增加executor配置项：spark.d 阅读全文
posted @ 2023-05-09 10:59 贾彤 阅读(236) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示