随笔分类 - Spark Streaming
kafka offset 过期处理策略
摘要：kafka offset 过期处理策略 现象： User class threw exception: org.apache.spark.SparkException: Job aborted due to stage failure: Task 2 in stage 0.0 failed 4 ti
spark调优-背压
摘要：在处理Spark Streaming中的背压（Backpressure）问题时，综合考虑提升数据消费速度与应对下游消费能力上限是至关重要的。以下内容将详细介绍背压的原理、应对策略以及具体的调优参数配置，帮助您有效缓解背压问题，提升Spark Streaming应用的性能和稳定性。 一、背压（Back
