随笔分类 -  Backpressure

kafka offset 过期处理策略
摘要：kafka offset 过期处理策略 现象： User class threw exception: org.apache.spark.SparkException: Job aborted due to stage failure: Task 2 in stage 0.0 failed 4 ti 阅读全文
posted @ 2024-11-14 19:01 唐钰逍遥 阅读(133) 评论(0) 推荐(0)
spark调优-背压
摘要：在处理Spark Streaming中的背压（Backpressure）问题时，综合考虑提升数据消费速度与应对下游消费能力上限是至关重要的。以下内容将详细介绍背压的原理、应对策略以及具体的调优参数配置，帮助您有效缓解背压问题，提升Spark Streaming应用的性能和稳定性。 一、背压（Back 阅读全文
posted @ 2024-10-21 12:42 唐钰逍遥 阅读(219) 评论(0) 推荐(0)