1月27日

复制代码
from pyspark.sql import SparkSession
from pyspark.sql.functions import col

# 创建SparkSession
spark = SparkSession.builder \
    .appName("SparkMonitoringExample") \
    .master("local[*]") \
    .getOrCreate()

# 设置日志级别
spark.sparkContext.setLogLevel("INFO")

# 示例数据
data = [("Alice", 1), ("Bob", 2), ("Cathy", 3)]
df = spark.createDataFrame(data, ["Name", "Value"])

# 添加日志输出
spark.sparkContext._jvm.org.apache.log4j.LogManager.getLogger("SparkMonitoringExample").info("DataFrame created")

# 数据处理操作
df_filtered = df.filter(col("Value") > 1)
df_filtered.show()

# 定义一个监听器以监控任务状态
class MyListener:
    def __init__(self):
        self.stages = []

    def onStageCompleted(self, stageInfo):
        self.stages.append(stageInfo)

listener = MyListener()
spark.sparkContext.addSparkListener(listener)

# 触发一个操作
df_filtered.groupBy("Name").count().collect()

# 打印任务状态
for stage in listener.stages:
    print(f"Stage ID: {stage.id}, Status: {stage.status}")

# 停止SparkSession
spark.stop()
复制代码

 

完成了监控和调试的代码示例,通过查看日志和Web UI,分析了Spark程序的运行状态



posted @   KuanDong24  阅读(1)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· 分享4款.NET开源、免费、实用的商城系统
· 全程不用写代码,我用AI程序员写了一个飞机大战
· Obsidian + DeepSeek:免费 AI 助力你的知识管理,让你的笔记飞起来!
· MongoDB 8.0这个新功能碉堡了,比商业数据库还牛
· 白话解读 Dapr 1.15:你的「微服务管家」又秀新绝活了
点击右上角即可分享
微信分享提示