1月27日
from pyspark.sql import SparkSession from pyspark.sql.functions import col # 创建SparkSession spark = SparkSession.builder \ .appName("SparkMonitoringExample") \ .master("local[*]") \ .getOrCreate() # 设置日志级别 spark.sparkContext.setLogLevel("INFO") # 示例数据 data = [("Alice", 1), ("Bob", 2), ("Cathy", 3)] df = spark.createDataFrame(data, ["Name", "Value"]) # 添加日志输出 spark.sparkContext._jvm.org.apache.log4j.LogManager.getLogger("SparkMonitoringExample").info("DataFrame created") # 数据处理操作 df_filtered = df.filter(col("Value") > 1) df_filtered.show() # 定义一个监听器以监控任务状态 class MyListener: def __init__(self): self.stages = [] def onStageCompleted(self, stageInfo): self.stages.append(stageInfo) listener = MyListener() spark.sparkContext.addSparkListener(listener) # 触发一个操作 df_filtered.groupBy("Name").count().collect() # 打印任务状态 for stage in listener.stages: print(f"Stage ID: {stage.id}, Status: {stage.status}") # 停止SparkSession spark.stop()
完成了监控和调试的代码示例,通过查看日志和Web UI,分析了Spark程序的运行状态
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 分享4款.NET开源、免费、实用的商城系统
· 全程不用写代码,我用AI程序员写了一个飞机大战
· Obsidian + DeepSeek:免费 AI 助力你的知识管理,让你的笔记飞起来!
· MongoDB 8.0这个新功能碉堡了,比商业数据库还牛
· 白话解读 Dapr 1.15:你的「微服务管家」又秀新绝活了