随笔分类 -  kafka

kafka offset 过期处理策略
摘要：kafka offset 过期处理策略 现象： User class threw exception: org.apache.spark.SparkException: Job aborted due to stage failure: Task 2 in stage 0.0 failed 4 ti 阅读全文
posted @ 2024-11-14 19:01 唐钰逍遥 阅读(138) 评论(0) 推荐(0)
消息队列知识点
摘要：RabbitMQ 消息不丢失 持久化 将消息保存到磁盘上，而不是只存在于内存中。这样可以避免因为服务器重启或者故障而导致消息丢失。 发送消息持久化 设置deliveryMode参数为2 ,确保消息到RabbitMQ服务的投递持久化模式为硬盘。 exchange、queue 持久化 durable = 阅读全文
posted @ 2023-11-03 20:05 唐钰逍遥 阅读(103) 评论(0) 推荐(0)