随笔分类 - Spark
spark 批量写入redis控制
摘要：需求 spark scala 程序 读取hive数据，sparksql解析 然后分批写入redis 原则： 一、尽可能少和redis交互，减少redis写入压力。 二、可以考虑pipeline的操作习惯。 三、不要一个partition只提交一个pipeline 网络传输压力大 内存消耗高 Redi
kafka offset 过期处理策略
摘要：kafka offset 过期处理策略 现象： User class threw exception: org.apache.spark.SparkException: Job aborted due to stage failure: Task 2 in stage 0.0 failed 4 ti
spark调优-背压
摘要：在处理Spark Streaming中的背压（Backpressure）问题时，综合考虑提升数据消费速度与应对下游消费能力上限是至关重要的。以下内容将详细介绍背压的原理、应对策略以及具体的调优参数配置，帮助您有效缓解背压问题，提升Spark Streaming应用的性能和稳定性。 一、背压（Back
